hadoop 单机安装配置教程

更新时间：2012年11月26日 14:59:20 作者：

单机安装主要用于程序逻辑调试。安装步骤基本通分布式安装，包括环境变量，主要Hadoop配置文件，SSH配置等,需要的朋友可以参考下

单机安装主要用于程序逻辑调试。安装步骤基本通分布式安装，包括环境变量，主要Hadoop配置文件，SSH配置等。主要的区别在于配置文件：slaves配置需要修改，另外如果分布式安装中dfs.replication大于1，需要修改为1，因为只有1个datanode.
分布式安装请参考：
http://acooly.iteye.com/blog/1179828
单机安装中，使用一台机器，即做namenode和JobTracker也是datanode和TaskTracker，当然也是SecondaryNameNode。
主要配置文件core-site.xml,hdfs-site.xml,mapred-site.xml,masters完全同分布树安装配置，如果分布式安装配置方案中hdfs-site.xml的副本数量定义大于1，则修改为1.

复制代码代码如下:

 
<property> 
<name>dfs.replication</name> 
<value>1</value> 
</property> 

主要不同在于slaves的配置，分布式安装中是多个其他机器作为datanode，单机模式本机是datanode,所以修改slaves配置文件为本机的域名。如：本机机器名为hadoop11,则：
[hadoop@hadoop11 ~]$ cat hadoop/conf/slaves
hadoop11
完成配置后，启动：

复制代码代码如下:

 
$ start-all.sh 
$ jps 
Jps 
JobTracker 
TaskTracker 
SecondaryNameNode 
DataNode 
NameNode 

运行DEMO
$ echo word1 word2 word2 word3 word3 word3 > words
$ cat words
word1 word2 word2 word3 word3 word3
$ hadoop dfsadmin -safemode leave
$ hadoop fs -copyFromLocal words /single/input/words
$ hadoop fs -cat /single/input/words
12/02/17 19:47:44 INFO security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping; cacheTimeout=300000
word1 word2 word2 word3 word3 word3
$ hadoop jar hadoop-0.21.0/hadoop-mapred-examples-0.21.0.jar wordcount /single/input /single/output
......
$ hadoop fs -ls /single/output
......
-rw-r--r-- 1 hadoop supergroup 0 2012-02-17 19:50 /single/output/_SUCCESS
-rw-r--r-- 1 hadoop supergroup 24 2012-02-17 19:50 /single/output/part-r-00000
$ hadoop fs -cat /single/output/part-r-00000
......
word1 1
word2 2
word3 3

您可能感兴趣的文章:

spring解决循环依赖
这篇文章主要介绍了spring如何解决循环依赖，帮助大家更好的理解和使用spring框架，感兴趣的朋友可以了解下
2020-09-09
Java中Spring获取bean方法小结
Spring是一个轻量级的控制反转（IoC）和面向切面（AOP）的容器框架，如何在程序中获取Spring配置的bean呢？下面通过本文给大家介绍Java中Spring获取bean方法小结，对spring获取bean方法相关知识感兴趣的朋友一起学习吧
2016-01-01
Java String相加底层原理分析
这篇文章主要介绍了Java String相加底层原理,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
2023-09-09
Java类锁、对象锁、私有锁冲突测试
这篇文章主要介绍了Java类锁、对象锁、私有锁冲突测试,得出结论是加锁方法够成了竞争关系,同一时刻只能有一个方法能执行,需要的朋友可以参考下
2014-10-10
十种JAVA排序算法实例
本文件讲了十种JAVA排序方法(冒泡（Bubble）排序——相邻交换、选择排序——每次最小/大排在相应的位置、插入排序——将下一个插入已排好的序列中、壳（Shell）排序——缩小增量、归并排序、快速排序、堆排序、拓扑排序、锦标赛排序、基数排序)的使用，并提供了实例代码可参考
2013-11-11
Mybatis动态sql超详细讲解
动态SQL是MyBatis的强大特性之一,顾名思义就是会动的SQL,即是能够灵活的根据某种条件拼接出完整的SQL语句,下面这篇文章主要给大家介绍了关于Mybatis动态sql的相关资料,需要的朋友可以参考下
2023-04-04
SpringBoot中的健康检查详解
这篇文章主要介绍了SpringBoot中的健康检查详解,健康检查是一种用来确保应用程序和其所依赖的服务的状态正常的机制,在本文中，我们将探讨SpringBoot中的健康检查是什么以及如何使用它来监视应用程序的状态,需要的朋友可以参考下
2023-07-07
MyBatis Generator ORM层面的代码自动生成器(推荐)
Mybatis Generator是一个专门为 MyBatis和 ibatis框架使用者提供的代码生成器，也可以快速的根据数据表生成对应的pojo类、Mapper接口、Mapper文件，甚至生成QBC风格的查询对象，这篇文章主要介绍了MyBatis Generator ORM层面的代码自动生成器,需要的朋友可以参考下
2023-01-01
关于Openfire集群源码的分析
这篇文章主要介绍了关于Openfire集群源码的分析，内容比较详细，具有一定参考价值，需要的朋友可以了解下。
2017-09-09
Spring BeanUtils忽略空值拷贝的方法示例代码
本文用示例介绍Spring（SpringBoot）如何使用BeanUtils拷贝对象属性忽略空置，忽略null值拷贝属性的用法，代码简单易懂，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友参考下吧
2022-03-03