脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 网站技巧 → 服务器 → 云和虚拟化 → docker → docker compose部署集群

docker-compose部署zk+kafka+storm集群的实现

 更新时间：2020年10月12日 08:31:10   作者：唱小曲的辣椒儿  
这篇文章主要介绍了docker-compose部署zk+kafka+storm集群，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

集群部署总览

172.22.12.20 172.22.12.21 172.22.12.22 172.22.12.23 172.22.12.24
zoo1:2181 zoo2:2182 zoo3:2183 zkui:9090 (admin/manager)
kafka1:9092 kafka2:9092 kafka3:9092 kafdrop:9000
influxdb:8086 grafana:3000 (admin/chanhu)
storm-nimbus1 storm-nimbus2 storm-nimbus3 portainer:9002(admin/chanhu@123)
storm-supervisor1 storm-supervisor2 storm-supervisor3
storm-ui:8080

docker安装

yum update -y     
yum install -y yum-utils device-mapper-persistent-data lvm2    
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo    
yum install docker-ce docker-ce-cli containerd.io   
systemctl start docker

docker-compose安装

yum install epel-release   
yum install -y python-pip   
pip install --upgrade pip   
pip install docker-compose

修改每一台宿主机的hosts文件

vim /etc/hosts   
172.22.12.20 datacloud0   
172.22.12.21 datacloud1   
172.22.12.22 datacloud2   
172.22.12.23 datacloud3   
172.22.12.24 datacloud4

zookeeper集群

在20，21，22三台机器部署zk集群，分别编写docker-compose文件

集群中如果只剩一台是正常运行的，则集群失效

以其中一台为例：

zoo:   
    image: zookeeper:3.4.14   
    restart: always   
    hostname: zoo1   
    container_name: zoo1   
    ports:   
     - 2181:2181   
     - 2888:2888   
     - 3888:3888   
    volumes:   
     - "./zoo/data:/data"   
     - "./zoo/datalog:/datalog"   
    environment:   
     ZOO_MY_ID: 1   
     ZOO_SERVERS: server.1=0.0.0.0:2888:3888 server.2=172.22.12.21:2888:3888 server.3=172.22.12.22:2888:3888

"./zoo/data:/data"为数据目录挂载，必须配置

环境变量配置， ZOO_MY_ID 三台分别是1、2、3， ZOO_SERVERS 配置的是集群地址，其中当前机器为0.0.0.0

kakfa集群

在20，21，22三台机器部署kafka集群，分别编写docker-compose文件（可以和zk的docker-compose文件写在一起）

以其中一台为例：

kafka:   
    image: wurstmeister/kafka:2.12-2.2.2   
    restart: always   
    hostname: kafka1   
    container_name: kafka1   
    ports:   
     - "9092:9092"   
    environment:   
     KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://172.22.12.20:9092   
     KAFKA_ADVERTISED_HOST_NAME: 172.22.12.20   
     KAFKA_ADVERTISED_PORT: 9092   
     KAFKA_ZOOKEEPER_CONNECT: 172.22.12.20:2181,172.22.12.21:2181,172.22.12.22:2181   
    volumes:   
     - ./kafka/logs:/kafka

没有太多需要注意的地方， KAFKA_ZOOKEEPER_CONNECT 正确配置好zk集群地址,还有ADVERTISED相关配置为当前容器。

influxdb

influxdb:   
    image: influxdb:1.7   
    restart: always   
    container_name: influxdb   
    ports:   
     - "2003:2003"   
     - "8086:8086"   
     - "8089:8089"   
     - "8091:8091"   
    volumes:   
     - "./influxdb:/var/lib/influxdb"   
    environment:   
     - INFLUXDB_GRAPHITE_ENABLED=true

"./influxdb:/var/lib/influxdb"为数据目录挂载， 必须配置 。INFLUXDB_GRAPHITE_ENABLED启动graphite功能。

influxdb简单操作：

  • docker exec -it influxdb influx
  • show databases
  • create database XX
  • use XX
  • INSERT cpu,host=serverA,region=us_west value=0.64
  • SELECT "host", "region", "value" FROM "cpu"

docker-compose相关操作

docker-compose [-f <文件名>] up -d   
docker-compose [-f <文件名>] down

zkui/kafdrop/grafana

在23机器上，部署这三个web界面：

zkui:   
    image: maauso/zkui   
    restart: always   
    container_name: zkui   
    ports:   
     - 9090:9090   
    environment:   
     ZKLIST: 172.22.12.20:2181,172.22.12.21:2181,172.22.12.22:2181   
   kafdrop:   
    image: obsidiandynamics/kafdrop:latest   
    restart: always   
    container_name: kafdrop   
    ports:   
     - "9000:9000"   
    environment:   
     KAFKA_BROKERCONNECT: 172.22.12.20:9092,172.22.12.20:9092,172.22.12.20:9092   
   grafana:   
    image: grafana/grafana:master   
    restart: always   
    container_name: grafana   
    ports:   
     - "3000:3000"   
    volumes:   
     - "./grafana:/var/lib/grafana"

因为是web页面，配置好相关服务地址，启动就行了

其中grafana需要配置目录挂载，主要是记录自定义的数据源和面板配置等（这里需要chmod -R 777 grafana/）

storm集群

storm集群由 nimbus、supervisor、ui 三部分组成

nimbus为主节点，supervisor为从节点，前者将任务发到zookeeper上，后者到zookeeper上获取任务。ui为web页面。

20、21、22三台机器分别部署nimbus和supervisor节点各三个，且建议单独建立docker-compose脚本文件，在zookeeper启动后执行。

docker-compose脚本大致如下：

nimbus:
  image: storm:2.2.0
  container_name: nimbus1
  command: storm nimbus
  restart: always
  hostname: nimbus1
  ports:
   - 6627:6627
  volumes:
   - "./storm.yaml:/conf/storm.yaml"
   - "./nimbus/data:/data"
   - "./nimbus/logs:/logs"

 supervisor:
  image: storm:2.2.0
  container_name: supervisor1
  command: storm supervisor
  hostname: supervisor1
  depends_on:
   - nimbus
  links:
   - nimbus:nimbus
  restart: always
  volumes:
   - "./storm.yaml:/conf/storm.yaml"
   - "./supervisor/data:/data"
   - "./supervisor/logs:/logs"

nimbus、supervisor、ui都是使用同一个storm镜像，只是启动参数时command不同。

这里指定nimbus和supervisor的hostname，原因是默认情况下它们注册到zookeeper时的host为docker容器随机生成的uuid，

如果nimbus和supervisor重启了，其容器uuid也会重置，这时就和zookeeper中已经保存的uuid冲突，发生错误。

网上的方案是：1.停掉storm集群后删除zookeeper上的storm节点并重启zookeeper+storm集群；2.单独建一个无状态的zookeeper来给storm集群使用

这里采取的方案是指定nimbus和supervisor注册时的host，其重启时不会产生变化

启动时需要指定一些环境变量，这里采用本地配置文件映射的方式，storm.yaml配置如下:

storm.zookeeper.servers: 
 - "172.22.12.20"
 - "172.22.12.21"
 - "172.22.12.22"
nimbus.seeds:
 - "nimbus1"
 - "nimbus2"
 - "nimbus3"
storm.log.dir: "/logs"
storm.local.dir: "/data"
storm.cluster.mode: distributed

storm.zookeeper.servers为zookeeper地址，默认取端口2181。nimbus.seeds为nimbus集群地址，这里取docker-compose中自定义的hostname。

storm-ui启动单例即可，docker-compose配置如下：

storm-ui:
  image: storm:2.2.0
  container_name: storm-ui
  command: storm ui
  depends_on:
   - nimbus
  links:
   - nimbus:nimbus
  restart: always
  ports:
   - 8080:8080
  volumes:
   - "./storm.yaml:/conf/storm.yaml"
   - "./ui/data:/data"
   - "./ui/logs:/logs" 
  extra_hosts:
   - "nimbus1:172.22.12.20"
   - "nimbus2:172.22.12.21"
   - "nimbus3:172.22.12.22"
   - "supervisor1:172.22.12.20"
   - "supervisor2:172.22.12.21"
   - "supervisor3:172.22.12.22"

其中 extra_hosts 为容器启动后自定义的host映射，这样ui页面启动后才能通过注册上来的别名host对应到真正的ip地址。

部署docker容器时经常会遇到需要映射宿主机的配置文件到容器里，这样容器重启后配置就不会重置。

比如storm配置：- "./storm.yaml:/conf/storm.yaml" 但是映射后如果本地没有正确格式的storm.yaml就会启动失败，除了去官网下载安装包拿到其配置文件以外，可以先启动一个临时容器并拷贝其配置文件到宿主机。

docker run -d --name nimbus-tmp storm:2.2.0 storm nimbus

docker cp nimbus-tmp:/conf/storm.yaml 本地文件夹路径/

canal部署

canal部署前需要对其要连接的mysql做相应配置:

[mysqld]
log-bin=mysql-bin # 开启 binlog
binlog-format=ROW # 选择 ROW 模式
server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复

canal的docker-compose配置如下：

canal-server:
  image: canal/canal-server:v1.1.3
  container_name: canal-server
  ports:
   - 11111:11111
  environment:
   - canal.instance.mysql.slaveId=12
   - canal.auto.scan=false
   - canal.destinations=datacloud
   - canal.instance.master.address=10.23.16.32:3307
   - canal.instance.dbUsername=root
   - canal.instance.dbPassword=chinaunicom@dengfy
   - canal.instance.filter.regex=river\\..*
  volumes:
   - ./canal-server/logs/:/admin/canal-server/logs/

其中 slaveId 需要和mysql中配置不同， destinations 为自定义的实例名， canal.instance.filter.regex 为需要监控的数据库表过滤。

portainer部署

portainer时docker容器的可视化管理工具，可以管理上述的几台机器的docker容器，查看日志，修改启动脚本，停止容器等。

首先要对每一台机器开启docker api接口:

1.vim /usr/lib/systemd/system/docker.service   
在ExecStart启动项添加-H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock
2.重启docker服务 systemctl daemon-reload   systemctl restart docker 

在其中一台机器上部署portainer容器：

portainer:
  image: portainer/portainer:1.24.1
  restart: always
  container_name: portainer_datacloud
  ports:
   - "8000:8000"
   - "9002:9000"
  volumes:
   - "./portainer/data:/data"
   - "/var/run/docker.sock:/var/run/docker.sock"

"/var/run/docker.sock:/var/run/docker.sock" 此条映射关系是单机模式下使用，我们采用的是远程api调用，因此可以不加。

打开ip:9002后，注册用户登录，settings>endpoints>Add endpoint>选择docker方式。

其中Endpoint URL填写目标ip:2375,Public IP添加目标ip，提交后即可看到其所有容器信息。

到此这篇关于docker-compose部署zk+kafka+storm集群的实现的文章就介绍到这了,更多相关docker compose部署集群内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

相关文章

  • Docker 镜像和容器的区别详解

    Docker 镜像和容器的区别详解

    这篇文章主要介绍了Docker 镜像和容器的区别详解的相关资料,需要的朋友可以参考下
    2016-10-10
  • Docker attach 命令卡死的问题及解决方案

    Docker attach 命令卡死的问题及解决方案

    Docker 是一种轻量级的容器化平台,可以实现快速部署、运行和管理应用程序,这篇文章给大家介绍Docker attach 命令卡死的解决方案,感兴趣的朋友一起看看吧
    2023-12-12
  • Elasticsearch使用常见问题解决方案

    Elasticsearch使用常见问题解决方案

    这篇文章主要介绍了Elasticsearch使用常见问题解决方案,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-11-11
  • win10中docker部署和运行countly-server的流程

    win10中docker部署和运行countly-server的流程

    这篇文章主要记录一下windows10中使用docker容器安装和部署countly-server的整个流程，本文给大家讲解的非常详细，具有一定的参考借鉴价值，需要的朋友参考下吧
    2019-11-11
  • Docker初级网络端口映射的配置

    Docker初级网络端口映射的配置

    这篇文章主要介绍了Docker初级网络端口映射的配置，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2021-02-02
  • docker中psql数据库备份与恢复详解

    docker中psql数据库备份与恢复详解

    在本篇文章里小编给大家整理的是关于docker中psql数据库基本操作内容，需要的朋友们可以学习参考下。
    2020-02-02
  • Docker部署Mysql8的实现步骤

    Docker部署Mysql8的实现步骤

    本文主要介绍了Docker部署Mysql8的实现步骤，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2022-07-07
  • Docker管理之碎片知识整理小结

    Docker管理之碎片知识整理小结

    本文旨在汇总整理Docker日常管理之知识碎片，以便日后回顾查看参考。文中通过示例代码介绍的非常详细，感兴趣的小伙伴们可以参考一下
    2021-11-11
  • Docker 搭建集群MongoDB的实现步骤

    Docker 搭建集群MongoDB的实现步骤

    这篇文章主要介绍了Docker 搭建集群MongoDB的实现步骤，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2020-09-09
  • Docker compose配置文件写法及命令使用示例

    Docker compose配置文件写法及命令使用示例

    这篇文章主要介绍了Docker compose配置文件写法及命令总结使用示例，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步早日升职加薪
    2022-03-03

最新评论