shell脚本之正则表达式、grep、sed、awk

^linux     ##以linux开始
linux$     ##以linux结束
linuxfan.   ##匹配linuxfans等
coo[kl]    ##匹配cool或cook
9[^5689]    ##匹配91,92等，但不匹配95,96,98,99
[0-9]     ##匹配任意一个所有的数字
[a-z]|[A-Z]  ##匹配任意一个所有大小写字母,|属于扩展正则grep -E支持
colou?r    ##匹配color或colour，但是不能匹配colouur
rollno-9+   ##匹配rollno-9、rollno-99，rollno-999，但不匹配rollno-
co*l      ##匹配cl，col，cool，coool等
ma(tri)x    ##匹配matrix
[0-9]{3}    ##匹配任意一个三位数，等于[0-9][0-9][0-9]
[0-9]{2,}   ##匹配任意一个两位数或更多位的数字
[0-9]{2,5}   ##匹配从两位数到五位数之间的任意一个数字
Oct (1st|2nd) ##匹配Oct 1st或Oct 2nd
a\.b      ##匹配a.b，但不能匹配ajb
[a-z0-9_]+\@[a-z0-9_]+\.[a-z]{2,4}       ##匹配一个邮箱地址
[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3} ##匹配IP地址

--grep--

cat /proc/meminfo |grep -e Mem -e Cache -e Swap     ##查看系统内存、缓存、交换分区-e的作用是匹配多个表达式
grep -R -o -n -E  '[a-z0-9_]+\@[a-z0-9_]+\.[a-z]{2,4}' /etc/     ##查找/etc目录下的所有文件中的邮件地址；-R递归，-n表示匹配的行号，-o只输出匹配内容，-E支持扩展正则表达式，
grep -R -c 'HOSTNAME' /etc/ |grep -v "0$"     ##查找/etc/目录下文件中包含“HOSTNAME”的次数，-c统计匹配次数，-v取反
grep -R -l 'HOSTNAME' /etc/           ##查找包含“HOSTNAME”的文件名，-l显示匹配的文件名，-L显示不匹配的文件名
dmesg | grep -n --color=auto 'eth'       ##查找内核日志中eth的行，显示颜色及行号
dmesg | grep -n -A3 -B2 --color=auto 'eth'     ##用 dmesg 列出核心信息，再以 grep 找出内含 eth 那行,在关键字所在行的前两行与后三行也一起找出出来显示
cat /etc/passwd |grep -c bash$         ##统计系统中能登录的用户的个数
touch /tmp/{123,123123,456,1234567}.txt   ##创建测试文件，以下三条命令是一样的效果，匹配文件名123，可以包含1个到多个
ls |grep -E '(123)+' 
ls |grep '\(123\)\+'
ls |egrep '(123)+'
ps -ef |grep -c httpd             ##统计httpd进程数量
grep -C 4 'games' --color /etc/passwd       ##显示games匹配的“-C”前后4行
grep ^adm /etc/group             ##查看adm组的信息
ip a |grep -E '^[0-9]' |awk -F : '{print $2}'     ##获取网卡名称
ifconfig eth0 |grep -E -o 'inet addr:[^ ]*' |grep -o '[0-9.]*'   ##截取ip地址，[^ ]*表示以非空字符作为结束符，[0-9.]*表示数字和点的组合
ip a |grep inet |grep eth0 |grep -o "inet[^/]*" |grep -o "[0-9.]*"  ##截取ip地址
ifconfig eth0 |grep -i hwaddr |awk '{print $5}'   ##截取MAC地址
ip a |grep -A 3 "eth0" |grep link/ether |grep -o "ether[^r]*" |grep -o -E "[0-9a-f:]+"|grep -E "[0-9a-f:]{2}$"      ##截取MAC地址

grep "^m" oldboy.log       ##过滤输出以m开头的行
grep "m$" oldboy.log 
grep -vn "^$" oldboy.log       ##过滤空行
grep -o "0*" oldboy.log 
grep -o "oldb.y" oldboy.log 
grep "\.$" oldboy.log       ##以.结尾的行
grep "0\{3\}" oldboy.log       ##重复三次

语法：sed -n '/表达式/p' 文件
sed -n '2p' /etc/hosts ##查看第二行
sed -n '/www/p' /var/named/chroot/var/named/linuxfan.cn.zone ##查看包含www的解析记录
sed -n '/.100$/p' /var/named/chroot/var/named/linuxfan.cn.zone ##查看以.100结尾的行
sed -n '2~2p' ip ##从第二行，每隔两行显示

ifconfig eth0|sed -n '2p'|sed 's#.*dr:##g'|sed 's# Bc.*##g'    ##注：当sed命令处理的内容为多行内容，则以/作为表达式的分隔，若sed命令处理的内容为单行内容，作为截取的作用，以#号作为分隔符；
10.0.0.9 
ifconfig eth0|sed -n '2p'|sed -r 's#(.*dr:)(.*)(Bc.*$)#\2#g'    ##-r支持扩展正则，\2将2转义，打印出第二个范围(.*)
10.0.0.9 
ifconfig eth0|sed -n '2p'|sed -r 's#.*dr:(.*) Bc.*$#\1#g'
10.0.0.9 
ifconfig eth0|sed -nr '2s#^.*dr:(.*) Bc.*$#\1#gp'
10.0.0.9
ifconfig eth0|sed -nr '1s#^.*dr (.*)#\1#gp'
00:0C:29:33:C8:75 
ifconfig eth0|sed -n '1p'|sed -r 's#(^.*dr )(.*)#\2#g'
00:0C:29:33:C8:75
ifconfig eth0|sed -n '1p'|sed 's#^.*dr ##g'      
00:0C:29:33:C8:75
ifconfig eth0|sed -nr '1s#^.*t (.*) 00.*$#\1#gp'
HWaddr
stat /etc/hosts|sed -n '4p'                
Access: (0644/-rw-r--r--) Uid: (  0/  root)  Gid: (  0/  root)
stat /etc/hosts|sed -n '4p'|sed 's#^.*ss: (##g'|sed 's#/-.*$##g'
0644
stat /etc/hosts|sed -n '4p'|sed -r 's#^.*s: \((.*)/-.*$#\1#g'
0644
stat /etc/hosts|sed -nr '4s#^.*s: \((.*)/-.*$#\1#gp'
0644
stat /etc/hosts|sed -nr '4s#(^.*s: \()(.*)(/-.*$)#\2#gp'
0644

--awk--

chkconfig --list |grep 3:启用 |awk '{print $1}'
tail -1 /etc/passwd |awk -F ':' 'BEGIN{OFS="---"}{print $1,$6,$7}'  ##OFS指定输出分隔符
ifconfig eth1 |awk -F '[ :]+' 'NR==2 {print $4}'
ifconfig eth1 |awk -F '[ :]+' 'NR==2 {print "eth1_ip="$4}' ##可以加入显示内容
awk 'BEGIN {print "line one \nline two\nline three"}'

awk -F : '$3==3,$3==10{print $1,$3,$7}' /etc/passwd
awk -F : '$1=="root",$1=="adm"{print $1,$3,$7}' /etc/passwd
awk -F : '/^r/,/^a/{print $1,$3,$7}' /etc/passwd

awk -F : 'BEGIN{printf "%-10s%-10s%-20s\n","UserName","ID","Shell"}{printf "%-10s%-10s%-20s\n",$1,$3,$7}' /etc/passwd ##在awk处理之前打印头部BEGIN{}

ifconfig eth0 |awk -F':' 'NR==2{print $2,$4}'|awk 'BEGIN{OFS=" / "}{print "IP="$1,"MASK="$3}'

ifconfig eth1 |awk '{print NR}'
ifconfig eth1 |awk '{print NF}'

awk 'BEGIN{test="www.linuxfan.cn";print test}'
awk -v test="linuxfan.cn" 'BEGIN{print test}'

awk -F : '$3>=500{print $1,$3,$7}' /etc/passwd ##打印普通用户
awk -F : '$3+1<=100&&$3+1>=10{print $1,$3,$7}' /etc/passwd ##UID在10-100之间的用户
awk -F : '$2=="!!"{print $1,$2}' /etc/shadow ##检查未初始化密码的用户
passwd -d u01 
awk -F : '$2==""{print $1}' /etc/shadow ##打印密码为空的用户
awk -F : '$7~"bash$"{print $1,$3,$7}' /etc/passwd ##匹配$7为bash结束行
awk -F : '$7!~"bash$"{print $1,$3,$7}' /etc/passwd