您的位置:首页 > 服务器 > > 正文

docker部署kafka认证(docker-compose部署zk+kafka+storm集群的实现)

更多 时间:2022-01-27 01:31:14 类别:服务器 浏览量:1097

docker部署kafka认证

docker-compose部署zk+kafka+storm集群的实现

集群部署总览

172.22.12.20 172.22.12.21 172.22.12.22 172.22.12.23 172.22.12.24
zoo1:2181 zoo2:2182 zoo3:2183 zkui:9090 (admin/manager)
kafka1:9092 kafka2:9092 kafka3:9092 kafdrop:9000
influxdb:8086 grafana:3000 (admin/chanhu)
storm-nimbus1 storm-nimbus2 storm-nimbus3 portainer:9002(admin/chanhu@123)
storm-supervisor1 storm-supervisor2 storm-supervisor3
storm-ui:8080

docker安装

  • yum update -y     
    yum install -y yum-utils device-mapper-persistent-data lvm2    
    yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo    
    yum install docker-ce docker-ce-cli containerd.io   
    systemctl start docker  
    
  • docker-compose安装

  • yum install epel-release   
    yum install -y python-pip   
    pip install --upgrade pip   
    pip install docker-compose  
    
  • 修改每一台宿主机的hosts文件

  • vim /etc/hosts   
    172.22.12.20 datacloud0   
    172.22.12.21 datacloud1   
    172.22.12.22 datacloud2   
    172.22.12.23 datacloud3   
    172.22.12.24 datacloud4  
    
  • zookeeper集群

    在20,21,22三台机器部署zk集群,分别编写docker-compose文件

    集群中如果只剩一台是正常运行的,则集群失效

    以其中一台为例:

  • zoo:   
        image: zookeeper:3.4.14   
        restart: always   
        hostname: zoo1   
        container_name: zoo1   
        ports:   
         - 2181:2181   
         - 2888:2888   
         - 3888:3888   
        volumes:   
         - "./zoo/data:/data"   
         - "./zoo/datalog:/datalog"   
        environment:   
         ZOO_MY_ID: 1   
         ZOO_SERVERS: server.1=0.0.0.0:2888:3888 server.2=172.22.12.21:2888:3888 server.3=172.22.12.22:2888:3888  
    
  • "./zoo/data:/data"为数据目录挂载,必须配置

    环境变量配置, ZOO_MY_ID 三台分别是1、2、3, ZOO_SERVERS 配置的是集群地址,其中当前机器为0.0.0.0

    kakfa集群

    在20,21,22三台机器部署kafka集群,分别编写docker-compose文件(可以和zk的docker-compose文件写在一起)

    以其中一台为例:

  • kafka:   
        image: wurstmeister/kafka:2.12-2.2.2   
        restart: always   
        hostname: kafka1   
        container_name: kafka1   
        ports:   
         - "9092:9092"   
        environment:   
         KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://172.22.12.20:9092   
         KAFKA_ADVERTISED_HOST_NAME: 172.22.12.20   
         KAFKA_ADVERTISED_PORT: 9092   
         KAFKA_ZOOKEEPER_CONNECT: 172.22.12.20:2181,172.22.12.21:2181,172.22.12.22:2181   
        volumes:   
         - ./kafka/logs:/kafka 
    
  • 没有太多需要注意的地方, KAFKA_ZOOKEEPER_CONNECT 正确配置好zk集群地址,还有ADVERTISED相关配置为当前容器。

    influxdb

  • influxdb:   
        image: influxdb:1.7   
        restart: always   
        container_name: influxdb   
        ports:   
         - "2003:2003"   
         - "8086:8086"   
         - "8089:8089"   
         - "8091:8091"   
        volumes:   
         - "./influxdb:/var/lib/influxdb"   
        environment:   
         - INFLUXDB_GRAPHITE_ENABLED=true  
    
    
    
  • "./influxdb:/var/lib/influxdb"为数据目录挂载, 必须配置 。INFLUXDB_GRAPHITE_ENABLED启动graphite功能。

    influxdb简单操作:

    • docker exec -it influxdb influx
    • show databases
    • create database XX
    • use XX
    • INSERT cpu,host=serverA,region=us_west value=0.64
    • SELECT "host", "region", "value" FROM "cpu"

    docker-compose相关操作

  • docker-compose [-f <文件名>] up -d   
    docker-compose [-f <文件名>] down 
    
  • zkui/kafdrop/grafana

    在23机器上,部署这三个web界面:

  • zkui:   
        image: maauso/zkui   
        restart: always   
        container_name: zkui   
        ports:   
         - 9090:9090   
        environment:   
         ZKLIST: 172.22.12.20:2181,172.22.12.21:2181,172.22.12.22:2181   
       kafdrop:   
        image: obsidiandynamics/kafdrop:latest   
        restart: always   
        container_name: kafdrop   
        ports:   
         - "9000:9000"   
        environment:   
         KAFKA_BROKERCONNECT: 172.22.12.20:9092,172.22.12.20:9092,172.22.12.20:9092   
       grafana:   
        image: grafana/grafana:master   
        restart: always   
        container_name: grafana   
        ports:   
         - "3000:3000"   
        volumes:   
         - "./grafana:/var/lib/grafana" 
    
    
    
  • 因为是web页面,配置好相关服务地址,启动就行了

    其中grafana需要配置目录挂载,主要是记录自定义的数据源和面板配置等(这里需要chmod -R 777 grafana/)

    storm集群

    storm集群由 nimbus、supervisor、ui 三部分组成

    nimbus为主节点,supervisor为从节点,前者将任务发到zookeeper上,后者到zookeeper上获取任务。ui为web页面。

    20、21、22三台机器分别部署nimbus和supervisor节点各三个,且建议单独建立docker-compose脚本文件,在zookeeper启动后执行。

    docker-compose脚本大致如下:

  • nimbus:
      image: storm:2.2.0
      container_name: nimbus1
      command: storm nimbus
      restart: always
      hostname: nimbus1
      ports:
       - 6627:6627
      volumes:
       - "./storm.yaml:/conf/storm.yaml"
       - "./nimbus/data:/data"
       - "./nimbus/logs:/logs"
    
     supervisor:
      image: storm:2.2.0
      container_name: supervisor1
      command: storm supervisor
      hostname: supervisor1
      depends_on:
       - nimbus
      links:
       - nimbus:nimbus
      restart: always
      volumes:
       - "./storm.yaml:/conf/storm.yaml"
       - "./supervisor/data:/data"
       - "./supervisor/logs:/logs"
    
    
    
  • nimbus、supervisor、ui都是使用同一个storm镜像,只是启动参数时command不同。

    这里指定nimbus和supervisor的hostname,原因是默认情况下它们注册到zookeeper时的host为docker容器随机生成的uuid,

    如果nimbus和supervisor重启了,其容器uuid也会重置,这时就和zookeeper中已经保存的uuid冲突,发生错误。

    网上的方案是:1.停掉storm集群后删除zookeeper上的storm节点并重启zookeeper+storm集群;2.单独建一个无状态的zookeeper来给storm集群使用

    这里采取的方案是指定nimbus和supervisor注册时的host,其重启时不会产生变化

    启动时需要指定一些环境变量,这里采用本地配置文件映射的方式,storm.yaml配置如下:

  • storm.zookeeper.servers: 
     - "172.22.12.20"
     - "172.22.12.21"
     - "172.22.12.22"
    nimbus.seeds:
     - "nimbus1"
     - "nimbus2"
     - "nimbus3"
    storm.log.dir: "/logs"
    storm.local.dir: "/data"
    storm.cluster.mode: distributed
    
    
  • storm.zookeeper.servers为zookeeper地址,默认取端口2181。nimbus.seeds为nimbus集群地址,这里取docker-compose中自定义的hostname。

    storm-ui启动单例即可,docker-compose配置如下:

  • storm-ui:
      image: storm:2.2.0
      container_name: storm-ui
      command: storm ui
      depends_on:
       - nimbus
      links:
       - nimbus:nimbus
      restart: always
      ports:
       - 8080:8080
      volumes:
       - "./storm.yaml:/conf/storm.yaml"
       - "./ui/data:/data"
       - "./ui/logs:/logs" 
      extra_hosts:
       - "nimbus1:172.22.12.20"
       - "nimbus2:172.22.12.21"
       - "nimbus3:172.22.12.22"
       - "supervisor1:172.22.12.20"
       - "supervisor2:172.22.12.21"
       - "supervisor3:172.22.12.22"
    
    
  • 其中 extra_hosts 为容器启动后自定义的host映射,这样ui页面启动后才能通过注册上来的别名host对应到真正的ip地址。

    部署docker容器时经常会遇到需要映射宿主机的配置文件到容器里,这样容器重启后配置就不会重置。

    比如storm配置:- "./storm.yaml:/conf/storm.yaml" 但是映射后如果本地没有正确格式的storm.yaml就会启动失败,除了去官网下载安装包拿到其配置文件以外,可以先启动一个临时容器并拷贝其配置文件到宿主机。

    docker run -d --name nimbus-tmp storm:2.2.0 storm nimbus

    docker cp nimbus-tmp:/conf/storm.yaml 本地文件夹路径/

    canal部署

    canal部署前需要对其要连接的mysql做相应配置:

  • [mysqld]
    log-bin=mysql-bin # 开启 binlog
    binlog-format=ROW # 选择 ROW 模式
    server_id=1 # 配置 MySQL replaction 需要定义,不要和 canal 的 slaveId 重复 
    
  • canal的docker-compose配置如下:

  • canal-server:
      image: canal/canal-server:v1.1.3
      container_name: canal-server
      ports:
       - 11111:11111
      environment:
       - canal.instance.mysql.slaveId=12
       - canal.auto.scan=false
       - canal.destinations=datacloud
       - canal.instance.master.address=10.23.16.32:3307
       - canal.instance.dbUsername=root
       - canal.instance.dbPassword=chinaunicom@dengfy
       - canal.instance.filter.regex=river\\..*
      volumes:
       - ./canal-server/logs/:/admin/canal-server/logs/
    
    
    
  • 其中 slaveId 需要和mysql中配置不同, destinations 为自定义的实例名, canal.instance.filter.regex 为需要监控的数据库表过滤。

    portainer部署

    portainer时docker容器的可视化管理工具,可以管理上述的几台机器的docker容器,查看日志,修改启动脚本,停止容器等。

    首先要对每一台机器开启docker api接口:

    1.vim /usr/lib/systemd/system/docker.service   
    在ExecStart启动项添加-H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock
    2.重启docker服务 systemctl daemon-reload   systemctl restart docker 

    在其中一台机器上部署portainer容器:

  • portainer:
      image: portainer/portainer:1.24.1
      restart: always
      container_name: portainer_datacloud
      ports:
       - "8000:8000"
       - "9002:9000"
      volumes:
       - "./portainer/data:/data"
       - "/var/run/docker.sock:/var/run/docker.sock"
    
    
    
  • "/var/run/docker.sock:/var/run/docker.sock" 此条映射关系是单机模式下使用,我们采用的是远程api调用,因此可以不加。

    打开ip:9002后,注册用户登录,settings>endpoints>Add endpoint>选择docker方式。

    其中Endpoint URL填写目标ip:2375,Public IP添加目标ip,提交后即可看到其所有容器信息。

    到此这篇关于docker-compose部署zk+kafka+storm集群的实现的文章就介绍到这了,更多相关docker compose部署集群内容请搜索开心学习网以前的文章或继续浏览下面的相关文章希望大家以后多多支持开心学习网!

    您可能感兴趣