Hadoop脚本远程控制中SSH常见问题详解
背景
在Hadoop脚本远程控制中，需要知道SSH一些常见的知识点。
SSH有三个知识点
1、使用ssh通过Hadoop脚本远程控制其他节点。
2、ssh配置免密模式。
3、ssh远程执行的时候有一个弊端，上面说到需要使用Java JDK，使用Java命令来启动jvm进程，那么这时候如果有一个节点a要去控制另一个节点b启动一个jvm进程，在使用ssh远程执行的时候，是不会加载对方的环境变量的 etc/profile文件的。
这边演示一下，有两台机器ip为118和119，在118节点中增加环境变量BIGDATA
[root@localhost ~]# vi /etc/profile // 在文件尾行追加,并保存文件 export BIGDATA=hello
打印刚才的变量发现变量为空
[root@localhost ~]# echo $BIGDATA [root@localhost ~]#
因为当前bash在运行时已经加载了环境变量文件，之后的修改并没有应用到当前环境，我们可以用source重新加载文件，然后在输出变量就可以打印出对应的值了
[root@localhost ~]# source /etc/profile [root@localhost ~]# echo $BIGDATA hello [root@localhost ~]#
现在我们使用119节点，通过ssh让118节点远程执行输出变量值看一下效果
[root@localhost ~]# ssh root@192.168.0.118 'echo $BIGDATA' The authenticity of host '192.168.0.118 (192.168.0.118)' can't be established. ECDSA key fingerprint is SHA256:rDsunaro1f5LyKkEeNohXfDD9oEglNXtviD/JZtA1dw. ECDSA key fingerprint is MD5:51:38:8d:fc:e4:d2:c7:ce:66:09:c8:f2:e6:9e:a7:f2. Are you sure you want to continue connecting (yes/no)? yes Warning: Permanently added '192.168.0.118' (ECDSA) to the list of known hosts. root@192.168.0.118's password: [root@localhost ~]#
这时候我们可以发现没有打印变量值，这是因为在ssh远程登录到118节点的时候，不会加载/etc/profile文件，如果不加载的话，就无法获取到变量。
这样我们只能多执行一个命令去加载环境变量文件，再输出变量，这时候就可以输出变量值了。
[root@localhost ~]# ssh root@192.168.0.118 'source /etc/profile;echo $BIGDATA;' root@192.168.0.118's password: hello [root@localhost ~]#
总结下这个知识点的内容: JDK安装完都要设置环境变量，在每台节点中都要设置Java home环境变量，但是如果有一台节点要去调用别人使用Java命令启动的话，那么这时候通过ssh过去是得不到Java home环境变量的。所以在搭建的时候，装完JDK后，设置完Java home环境变量，在Hadoop的配置命令中再重新配置一次Java home的绝对路径。 要把Java的安装路径即告诉操作系统，也要告诉Hadoop。
以上就是Hadoop脚本远程控制中SSH常见问题详解的详细内容，更多关于Hadoop远程控制SSH的资料请关注脚本之家其它相关文章！
相关文章
这篇文章主要为大家详细介绍了CentOS6.9下svn快速安装配置方法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-04-04
这篇文章主要介绍了git远程仓库的相关资料,需要的朋友可以参考下2017-08-08
这篇文章主要介绍了为什么Nginx的性能要比Apache高很多,需要的朋友可以参考下2016-03-03
现在的服务器上运行了很多系统服务，虽然中间没有出过什么问题，但是还是怕，要是出了问题，就是好几天的时间没有了，累4人的事情啊。所以要把什么东西都backup一下2016-01-01
Docker是一个开源的应用容器引擎,利用操作系统本身已有的机制和特性,可以实现远超传统虚拟机的轻量级虚拟化,CentOS是Linux发行版之一,本文给大家介绍云服务器Centos中安装Docker的方法,感兴趣的朋友一起看看吧2023-12-12
这篇文章主要为大家介绍了Keepalived+HAProxy实现高可用集群K8S的构建方式，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步2022-03-03
今天小编就为大家分享一篇关于Hadoop计数器的应用以及数据清洗，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧2019-01-01
Visual Studio Code(vscode) git的使用教程
这篇文章主要介绍了详解Visual Studio Code(vscode) git的使用，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-11-11
这篇文章主要介绍了记录服务器rm -rf误删文件的恢复过程,需要的朋友可以参考下2018-03-03
这篇文章主要介绍了服务器 conda update 失败的快速解决方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧2024-01-01
最新评论