Spark-shell批量命令执行脚本的方法
更新时间：2018年06月19日 16:34:58 作者：小蜗牛也有梦想
今天小编就为大家分享一篇Spark-shell批量命令执行脚本的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
批量执行spark-shell命令，并指定提交参数
#!/bin/bash
source /etc/profile
exec $SPARK_HOME/bin/spark-shell --queue tv --name spark-sql-test --executor-cores 8 --executor-memory 8g --num-executors 8 --conf spark.cleaner.ttl=240000 <<!EOF
import org.apache.spark.sql.SaveMode
sql("set hive.exec.dynamic.partition=true")
sql("set hive.exec.dynamic.partition.mode=nonstrict")
sql("use hr")
sql("SELECT * FROM t_abc ").rdd.saveAsTextFile("/tmp/out")
sql("SELECT * FROM t_abc").rdd.map(_.toString).intersection(sc.textFile("/user/hdfs/t2_abc").map(_.toString).distinct).count
!EOF
以上这篇Spark-shell批量命令执行脚本的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了shell脚本自动安装jdk的方法示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-12-12
iredmail下安装脚本分析（一）---get_all.sh 文件所在目录为PKGS
这篇文章主要介绍了iredmail下安装脚本分析（一）---get_all.sh 文件所在目录为PKGS的相关资料,需要的朋友可以参考下2015-10-10
tree是一种递归目录列表命令，产生一个深度缩进列表文件，这是彩色的ALA dircolors如果ls_colors设置环境变量和输出是TTY。下面通过本文给大家分享linux下tree命令的用法，感兴趣的朋友一起看看吧2017-09-09
这篇文章主要为大家分享了Shell 函数参数,方便学习shell脚本的朋友2014-09-09
这篇文章主要介绍了Shell脚本实现从文件夹中递归复制文件,本文脚本实现从十层左右的文件夹中复制所有文件到一目录中,需要的朋友可以参考下2015-02-02
Shell脚本中使用for循环和cat命令实现按顺序合并文件
这篇文章主要介绍了Shell脚本中使用for循环和cat命令实现按顺序合并文件,本文先是用sed命令来实现,发现不能完成需求,后使用for循环解决,需要的朋友可以参考下2015-01-01
这篇文章主要介绍了shell脚本输出多个主机的网卡速率的方法,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-12-12
这篇文章主要介绍了Linux中退出编辑模式的命令,本文给大家介绍的非常详细，具有一定的参考借鉴价值 ,需要的朋友可以参考下2019-05-05
这篇文章主要为大家介绍了Shell命令之数组表示语法学习，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-05-05
统计 cpu 内存使用率的脚本，有需要的朋友可以参考下2013-02-02
最新评论