Linux中的awk命令使用详解

 更新时间:2023年11月10日 08:40:14   作者:向阳逐梦  
这篇文章主要介绍了Linux中的awk命令使用详解的相关资料,需要的朋友可以参考下

除了使用 sed 命令,Linux 系统中还有一个功能更加强大的文本数据处理工具,就是 awk

曾有人推测 awk 命令的名字来源于 awkward 这个单词。其实不然,此命令的设计者有 3 位,他们的姓分别是 Aho、Weingberger 和 Kernighan,awk 就取自这 3 为大师姓的首字母。

和 sed 命令类似,awk 命令也是逐行扫描文件(从第 1 行到最后一行),寻找含有目标文本的行,如果匹配成功,则会在该行上执行用户想要的操作;反之,则不对行做任何处理。awk 命令的基本格式为:

[root@localhost ~]# awk [选项] '脚本命令' 文件名

此命令常用的选项以及各自的含义

awk 的强大之处在于脚本命令,它由 2 部分组成,分别为匹配规则和执行命令,如下所示:

'匹配规则{执行命令}'

这里的匹配规则,和 sed 命令中的 address 部分作用相同,用来指定脚本命令可以作用到文本内容中的具体行,可以使用字符串(比如 /demo/,表示查看含有 demo 字符串的行)或者正则表达式指定。另外需要注意的是,整个脚本命令是用单引号('')括起,而其中的执行命令部分需要用大括号({})括起来。

在 awk 程序执行时,如果没有指定执行命令,则默认会把匹配的行输出;如果不指定匹配规则,则默认匹配文本中所有的行。

举个简单的例子:

[root@localhost ~]# awk '/^$/ {print "Blank line"}' test.txt

在此命令中,/^$/ 是一个正则表达式,功能是匹配文本中的空白行,同时可以看到,执行命令使用的是 print 命令,此命令经常会使用,它的作用很简单,就是将指定的文本进行输出。因此,整个命令的功能是,如果 test.txt 有 N 个空白行,那么执行此命令会输出 N 个 Blank line。

awk 使用数据字段变量

awk 的主要特性之一是其处理文本文件中数据的能力,它会自动给一行中的每个数据元素分配一个变量。

默认情况下,awk 会将如下变量分配给它在文本行中发现的数据字段:

  • $0 代表整个文本行;
  • $1 代表文本行中的第 1 个数据字段;
  • $2 代表文本行中的第 2 个数据字段;
  • $n 代表文本行中的第 n 个数据字段。

前面说过,在 awk 中,默认的字段分隔符是任意的空白字符(例如空格或制表符)。 在文本行中,每个数据字段都是通过字段分隔符划分的。awk 在读取一行文本时,会用预定义的字段分隔符划分每个数据字段。所以在下面的例子中,awk 程序读取文本文件,只显示第 1 个数据字段的值:

[root@localhost ~]# cat data2.txt
One line of test text.
Two lines of test text.
Three lines of test text.
[root@localhost ~]# awk '{print $1}' data2.txt
One
Two
Three

该程序用 $1 字段变量来表示“仅显示每行文本的第 1 个数据字段”。当然,如果你要读取采用了其他字段分隔符的文件,可以用 -F 选项手动指定。

awk 脚本命令使用多个命令

awk 允许将多条命令组合成一个正常的程序。要在命令行上的程序脚本中使用多条命令,只要在命令之间放个分号即可,例如:

[root@localhost ~]# echo "My name is Rich" | awk '{$4="Christine"; print $0}'
My name is Christine

第一条命令会给字段变量 $4 赋值。第二条命令会打印整个数据字段。可以看到,awk 程序在输出中已经将原文本中的第四个数据字段替换成了新值。除此之外,也可以一次一行地输入程序脚本命令,比如说:

[root@localhost ~]# awk '{
> $4="Christine"
> print $0}'
My name is Rich
My name is Christine

在你用了表示起始的单引号后,bash shell 会使用 > 来提示输入更多数据,我们可以每次在每行加一条命令,直到输入了结尾的单引号。

注意,此例中因为没有在命令行中指定文件名,awk 程序需要用户输入获得数据,因此当运行这个程序的时候,它会一直等着用户输入文本,此时如果要退出程序,只需按下 Ctrl+D 组合键即可。

awk从文件中读取程序

跟 sed 一样,awk 允许将脚本命令存储到文件中,然后再在命令行中引用,比如:

[root@localhost ~]# cat awk.sh
{print $1 "'s home directory is " $6}
[root@localhost ~]# awk -F: -f awk.sh /etc/passwd
root's home directory is /root
bin's home directory is /bin
daemon's home directory is /sbin
adm's home directory is /var/adm
lp's home directory is /var/spool/lpd
...
Christine's home directory is /home/Christine
Samantha's home directory is /home/Samantha
Timothy's home directory is /home/Timothy

awk.sh 脚本文件会使用 print 命令打印 /etc/passwd 文件的主目录数据字段(字段变量 $6),以及 userid 数据字段(字段变量 $1)。注意,在程序文件中,也可以指定多条命令,只要一条命令放一行即可,之间不需要用分号。

awk BEGIN关键字

awk 中还可以指定脚本命令的运行时机。默认情况下,awk 会从输入中读取一行文本,然后针对该行的数据执行程序脚本,但有时可能需要在处理数据前运行一些脚本命令,这就需要使用 BEGIN 关键字。

BEGIN 会强制 awk 在读取数据前执行该关键字后指定的脚本命令,例如:

[root@localhost ~]# cat data3.txt
Line 1
Line 2
Line 3
[root@localhost ~]# awk 'BEGIN {print "The data3 File Contents:"}
> {print $0}' data3.txt
The data3 File Contents:
Line 1
Line 2
Line 3

可以看到,这里的脚本命令中分为 2 部分,BEGIN 部分的脚本指令会在 awk 命令处理数据前运行,而真正用来处理数据的是第二段脚本命令。

awk END关键字

和 BEGIN 关键字相对应,END 关键字允许我们指定一些脚本命令,awk 会在读完数据后执行它们,例如:

[root@localhost ~]# awk 'BEGIN {print "The data3 File Contents:"}
> {print $0}
> END {print "End of File"}' data3.txt
The data3 File Contents:
Line 1
Line 2
Line 3
End of File

可以看到,当 awk 程序打印完文件内容后,才会执行 END 中的脚本命令。

到此这篇关于Linux中的awk命令使用详解的文章就介绍到这了,更多相关Linux中的awk命令内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Apache Flink 任意 JAR 包上传漏洞利用及防范策略分析

    Apache Flink 任意 JAR 包上传漏洞利用及防范策略分析

    这篇文章主要介绍了Apache Flink 任意 JAR 包上传漏洞利用及防范策略, 本文提供的案例和方法仅用于教学目的,实际操作时应确保遵守相关法律法规,不应用于非法侵入或攻击他人系统,需要的朋友可以参考下
    2024-07-07
  • linux系统AutoFs自动挂载服务安装配置

    linux系统AutoFs自动挂载服务安装配置

    大家好,本篇文章主要讲的是linux系统AutoFs自动挂载服务安装配置,感兴趣的同学赶快来看一看吧,对你有帮助的话记得收藏一下哦,方便下次浏览
    2021-12-12
  • Ubuntu安装Matlab2020b详细教程和资源

    Ubuntu安装Matlab2020b详细教程和资源

    大家好,本篇文章主要讲的是Ubuntu安装Matlab2020详细教程和资源,感兴趣的同学赶快来看一看吧,希望对你有帮助
    2021-11-11
  • Linux进程基础教程详解

    Linux进程基础教程详解

    这篇文章主要为大家详细介绍了Linux进程基础教程,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2017-04-04
  • 10大HBase常见运维工具整理小结

    10大HBase常见运维工具整理小结

    这篇文章主要介绍了10大HBase常见运维工具整理小结,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2020-07-07
  • CentOS NTP服务器安装与配置的过程详解

    CentOS NTP服务器安装与配置的过程详解

    当服务器多了,时间准确与否,一致与否是个大问题,虽然这个问题总是被忽略,但是统一一致的时间是很有必要的,下面说一下在局域网内配置Linux时间服务器的方法,感兴趣的小伙伴可以自己动手尝试一下
    2023-11-11
  • Linux上读取或设置环境和shell变量的教程

    Linux上读取或设置环境和shell变量的教程

    当通过 shell 会话与服务器交互时,有许多信息会被 shell 编译以确定其行为和对资源的访问,其中一些设置包含在配置设置中,而其他一些则由用户输入确定,在本指南中,我们将讨论如何与环境进行交互,并通过配置文件以及交互方式读取或设置环境和 shell 变量
    2024-10-10
  • PHP程序员玩转Linux系列 自动备份与SVN

    PHP程序员玩转Linux系列 自动备份与SVN

    这篇文章主要为大家详细介绍了PHP程序员玩转Linux系列文章,学习自动备份与SVN教程,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2017-04-04
  • Linux安装redis后没有redis-server的问题

    Linux安装redis后没有redis-server的问题

    这篇文章主要介绍了Linux安装redis后没有redis-server的问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-01-01
  • Linux 中的防火墙 ufw 简介

    Linux 中的防火墙 ufw 简介

    ufw(简单防火墙Uncomplicated FireWall)真正地简化了 iptables,它从出现的这几年,已经成为 Ubuntu 和 Debian 等系统上的默认防火墙。这篇文章主要介绍了Linux 防火墙 ufw 简介,需要的朋友可以参考下
    2020-04-04

最新评论