docker使用dockercompose编排一个Hadoop集群方式

更新时间：2024年01月17日 16:42:52 作者：大鹏blog

这篇文章主要介绍了docker使用dockercompose编排一个Hadoop集群方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教

使用dockercompose编排一个Hadoop集群

本文使用docker-compose 最简单的方式编排一个Hadoop集群

运行脚本文件

version: "3"

services:
  namenode:
    image: bde2020/hadoop-namenode:2.0.0-hadoop3.1.2-java8
    container_name: namenode
    ports:
      - 9870:9870
    volumes:
      - hadoop_namenode:/hadoop/dfs/name
    environment:
      - CLUSTER_NAME=test
    env_file:
      - ./hadoop.env

  datanode:
    image: bde2020/hadoop-datanode:2.0.0-hadoop3.1.2-java8
    container_name: datanode
    volumes:
      - hadoop_datanode:/hadoop/dfs/data
    environment:
      SERVICE_PRECONDITION: "namenode:9870"
    env_file:
      - ./hadoop.env
  
  resourcemanager:
    image: bde2020/hadoop-resourcemanager:2.0.0-hadoop3.1.2-java8
    container_name: resourcemanager
    environment:
      SERVICE_PRECONDITION: "namenode:9870 datanode:9864"
    env_file:
      - ./hadoop.env

  nodemanager1:
    image: bde2020/hadoop-nodemanager:2.0.0-hadoop3.1.2-java8
    container_name: nodemanager
    environment:
      SERVICE_PRECONDITION: "namenode:9870 datanode:9864 resourcemanager:8088"
    env_file:
      - ./hadoop.env
  
  historyserver:
    image: bde2020/hadoop-historyserver:2.0.0-hadoop3.1.2-java8
    container_name: historyserver
    environment:
      SERVICE_PRECONDITION: "namenode:9870 datanode:9864 resourcemanager:8088"
    volumes:
      - hadoop_historyserver:/hadoop/yarn/timeline
    env_file:
      - ./hadoop.env
  
volumes:
  hadoop_namenode:
  hadoop_datanode:
  hadoop_historyserver:

运行方式

docker-compose up

运行

wordcount job
make wordcount

配置环境变量

配置参数可以在hadoop.env文件中指定

也可以作为特定服务（如namenode、datanode等）的环境变量指定：

可用配置包括

/etc/hadoop/core-site.xml CORE_CONF
/etc/hadoop/hdfs-site.xml HDFS_CONF
/etc/hadoop/yarn-site.xml YARN_CONF
/etc/hadoop/httpfs-site.xml HTTPFS_CONF
/etc/hadoop/kms-site.xml KMS_CONF
/etc/hadoop/mapred-site.xml MAPRED_CONF

总结

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

Dockerfile制作官方Tomcat镜像及镜像使用详解
本篇文章主要介绍了Dockerfile构建官方Tomcat镜像及镜像使用详解，具有一定的参考价值，有兴趣的可以了解一下
2017-07-07
Ubuntu Docker 源码编译（1.9.1 ）详解
这篇文章主要介绍了Ubuntu Docker 源码编译（1.9.1 ）详解的相关资料,这里对编译过程进行了详细的分析介绍，需要的朋友可以参考下
2016-11-11
Docker构建python Flask+ nginx+uwsgi容器
这篇文章主要介绍了Docker构建python Flask+ nginx+uwsgi容器，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-09-09
Docker中忽略文件的实现
Docker忽略文件是指在Docker镜像构建过程中,用于忽略指定文件或目录的一种机制,本文主要介绍了Docker中忽略文件的实现,具有一定的参考价值,感兴趣的可以了解一下
2023-10-10
如何查看docker容器的内存占用
这篇文章主要介绍了如何查看docker容器的内存占用问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
2024-07-07
docker swarm外部验证负载均衡时不生效的解决方案
这篇文章主要介绍了docker swarm外部验证负载均衡时不生效的问题，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
2021-04-04
docker安装Elasticsearch7.6集群并设置密码
这篇文章主要介绍了docker安装Elasticsearch7.6集群并设置密码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-06-06
Docker部署ElasticSearch和ElasticSearch-Head的实现
这篇文章主要介绍了Docker部署ElasticSearch和ElasticSearch-Head的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2019-12-12
Docker镜像与容器的导入导出以及常用命令总结
Docker是一个开源的容器引擎,基于go语言开发并遵循了apache2.0协议开源,下面这篇文章主要给大家介绍了关于Docker镜像与容器的导入导出以及常用命令总结的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
2022-08-08
Docker镜像的创建、存出、载入的方法
这篇文章主要介绍了Docker镜像的创建、存出、载入的方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2018-12-12