分享一个入门级可控多线程shell脚本代码
更新时间：2016年02月20日 21:47:50 作者：张戈
这篇文章主要介绍了分享一个入门级可控多线程shell脚本代码,需要的朋友可以参考下
说到shell可控多线程，网上分享的大部分是管道控制的方案。这种方案，张戈博客也曾经实战并分享过一次：《Shell+Curl网站健康状态检查脚本，抓出中国博客联盟失联站点》，感兴趣的朋友可以看看。
分享一个入门级可控多线程shell脚本方案
下面张戈博客再分享另一种更容易理解的入门级可控多线程shell脚本方案：任务切割、各个击破。
先来 1 段场景描述：
某日，在鹅厂接到了这个任务，需要在Linux服务器中，对几千个IP进行一次Ping检测，只要取得ping可达的IP就好。如果单个IP去ping测试，虽然也可以完成任务，几千个IP还好了，如果更多呢？
鉴于这个case简单程度，第一时间先放弃了以前用过的管道方案，而是采用了各个击破的思想。
简单思路：
按照任务切割的“战略思想”，我先将这几千IP存入一个iplist文件，然后写一个分割函数，将这个文件分成多份临时IP清单，最后，用多线程遍历这些临时IP文件即可变相实现多线程了。
具体代码：
#!/bin/sh
#文本分割函数：将文本$1按份数$2进行分割
SplitFile()
{
linenum=`wc -l $1 |awk '{print $1}'`
if [[ $linenum -le $2 ]]
then
echo "The lines of this file is less then $2, Are you kidding me..."
exit
fi
Split=`expr $linenum / $2`
Num1=1
FileNum=1
test -d SplitFile || mkdir -p SplitFile
rm -rf SplitFile/*
while [ $Num1 -lt $linenum ]
do
Num2=`expr $Num1 + $Split`
sed -n "${Num1}, ${Num2}p " $1 > SplitFile/$1-$FileNum
Num1=`expr $Num2 + 1`
FileNum=`expr $FileNum + 1`
done
}
#Define some variables
SPLIT_NUM=${1:-10} #参数1表示分割成多少份即,开启多少个线程，默认10个
FILE=${2:-iplist} #参数2表示分割的对象，默认iplist文件
#分割文件
SplitFile $FILE $SPLIT_NUM
#循环遍历临时IP文件
for iplist in $(ls ./SplitFile/*)
do
#循环ping测试临时IP文件中的ip（丢后台）
cat $iplist | while read ip
do
ping -c 4 -w 4 $ip >/dev/null && echo $ip | tee -ai okip.log #ping 可达的IP则写入日志
done & #在while循环后面加上&符号，让这个嵌套循环在后台执行
done
将代码保存为ping.sh之后，执行 sh ping.sh iplist 100 的过程如下：
先将iplist切割成100份，存放在 SplitFile 文件夹中
然后，通过for循环读取这些分割文件，并在后台使用while循环对其中ip执行ping命令。
由于while是丢后台的， 所以for循环会一次性执行100个while，相当于开启了100个线程，速度自然不可同日而语矣。
其中，切割的份数即你想要开启的多线程数量，很明显，这种任务分割的思路虽然没有管道方案来的高大上，但是其思想更加简单易懂，而且通用性也更好，适合入门级的简单多线程任务。
相关文章
这篇文章主要为大家详细介绍了Linux Source命令及脚本的执行方式，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2017-01-01
这篇文章主要给大家介绍了关于shell脚本学习之调用脚本将文件打包zip的方法，文中通过示例代码介绍的非常详细，对大家具有一定的参考学习价值，需要的朋友们下面跟着小编一起来学习学习吧。2017-07-07
这篇文章主要介绍了详解Linux下的文件标述符和文件指针的相关资料,需要的朋友可以参考下2017-05-05
这篇文章主要介绍了3个备份系统文件并邮件发送的Shell脚本分享,3个脚本分别对应了普通需求脚本、推荐脚本、大文件需求脚本,需要的朋友可以参考下2014-09-09
我们日常使用shell输入命令得到结果的方式是交互式的方式,而shell脚本使用的是非交互式方式,shell提供了alias功能来简化我们的日常操作,下面这篇文章主要给大家介绍了关于Shell内置命令教程之alias和echo的相关资料,需要的朋友可以参考下2022-03-03
下面小编就为大家带来一篇centos 设置定时任务执行指定脚本的方法。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-02-02
这篇文章主要介绍了linux 守护进程详解及建立守护进程的相关资料,需要的朋友可以参考下2017-04-04
本文主要介绍了Shell脚本自动部署项目的方法步骤，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-03-03
说到patch命令，就不得不提到diff命令，也就是制作patch的必要工具。这篇文章主要介绍了linux patch 命令小结,需要的朋友可以参考下2017-02-02
这篇文章主要介绍了Shell脚本实现的单机流量统计功能,本文给出实现代码和使用方法,及运行结果,需要的朋友可以参考下2014-11-11
最新评论