linux awk 多文件操作2种实现方法
我要评论我们经常会将2个有关联文本文件进行合并处理。分别从不同文件获取需要的列，然后，整体输出到一起。awk进行多文件处理时候，常常会遇到2个方面问题，第一个是怎么样合并多个文件为一个文件。第二个问题就是怎么样将多行合并为一行显示。我这里说下我的处理2种方法，还有实现思路。
实例文本：
[chengmo@centos5 shell]$ awk 'FNR==1{print "\r\n"FILENAME}{print $0}' a.txt b.txt
a.txt
100 wang man
200 wangsan woman
300 wangming man
400 wangzheng man
b.txt
100 90 80
200 80 70
300 60 50
400 70 20
需要合并得到结果：
100 wang man 90 80
200 wangsan woman 80 70
300 wangming man 60 50
400 wangzheng man 70 20
awk多文件操作方法一：
实现思路：
通过外部命令合并文件，然后通过排序，然后通过awk进行合并操作。
首先：
[chengmo@centos5 shell]$ cat a.txt b.txt | sort -n -k1 |awk '{print}'
100 90 80
100 wang man
200 80 70
200 wangsan woman
300 60 50
300 wangming man
400 70 20
400 wangzheng man
现在需要把：第一列相同的处理合并到一行，这里需要用“next”语句。它操作，可以参考awk 多行合并【next 使用介绍】（常见应用4）
继续：
[chengmo@centos5 shell]$ cat a.txt b.txt | sort -n -k1 |awk 'NR%2==1{fd1=$2"\t"$3;next}{print $0"\t"fd1}'
100 wang man 90 80
200 wangsan woman 80 70
300 wangming man 60 50
400 wangzheng man 70 20
需要把几行合并，经常用到方法是：NR%num 然后将行值保存下来，next该行。在输出时候打印出来。
awk多文件操作方法二
实现思路
不借助第3放工具打开，直接通过awk 打开多个文件。然后可以通过：FILENAME获得当前处理文件名。NR总记录 FNR当前文件记录,以及ARGC传入参数总数，ARGV是数组，各个参数值。
看下这些实例：
[chengmo@centos5 shell]$ awk 'BEGIN{print ARGC,ARGV[0],ARGV[1],ARGV[2]}{print FILENAME,NR,FNR,$0}' a.txt b.txt
3 awk a.txt b.txt
a.txt 1 1 100 wang man
a.txt 2 2 200 wangsan woman
a.txt 3 3 300 wangming man
a.txt 4 4 400 wangzheng man
b.txt 5 1 100 90 80
b.txt 6 2 200 80 70
b.txt 7 3 300 60 50
b.txt 8 4 400 70 20
程序代码：
[chengmo@centos5 shell]$ awk '
BEGIN{
if(ARGC<3)
{
exit 1;
}
file="";
}
{
aData[FILENAME,$1]=ARGV[1]==FILENAME?$0:$2"\t"$3;
}
END{
for(k in aData)
{
split(k,idx,SUBSEP);
if(idx[1]==ARGV[1] && (ARGV[2],idx[2]) in aData)
{
print aData[ARGV[1],idx[2]],aData[ARGV[2],idx[2]] | "sort -n -k1";
}
}
}' a.txt b.txt
100 wang man 90 80
200 wangsan woman 80 70
300 wangming man 60 50
400 wangzheng man 70 20
代码说明：
这里用到2维数组，aData[文件名,关联列对应值] ,这种方法可以将多个文件内容。放入一个统一二维数组。然后循环数组，通过if((i,j} in array) 查找对应列值，在其它文件中是否存在。
以上是2种实现方法，其中第一种思路较为简单，很容易理解。第二种处理起来较为复杂。有更好方法大家给我分享。
相关文章
然 Ubuntu 提供了优秀的图形化软件管理工具，我们绝大多数时间并不需要使用命令行来管理 Snap 软件包，但命令行拥有更强的功能和灵活性，学会如何使用可以帮你更好地掌控系2024-10-18
Flatpak和Snapcraft怎么选? Linux软件包管理系统优缺点对比
Linux 软件的打包和分发方式在过去几年中也取得了长足地进展，本文将探讨 Flatpak 和 Snapcraft 之间的关键差异，它们各自的优/缺点，以期望帮助用户找到更适合自己的一款2024-10-18
linux服务器重启命令哪个好用? Linux服务器重启命令汇总
在 Linux 系统中，最严谨的重启命令是 shutdown -r now，该命令直接将系统重启，而不进行任何清理或准备工作，确保系统彻底重启，但也有很多其他命令，详细如下文介绍2024-10-17
教你如何在Linux中使用apt命令? Linux APT命令实战教程
apt是一个软件包管理工具,apt命令相当强大,要是在Ubuntu和Debian系统中使用，可以用来对软件进行安装等操作，需要超级管理员（root）权限进行操作2024-09-29
apt 和 apt-get有什么区别? Linux包管理解密
为什么 Debian 系 Linux 发行版同时拥有apt和apt-get这两个雷同的命令？他们之间有什么区别？详细请看下文介绍2024-09-29
Linux圈曝出严重远程代码执行RCE漏洞，已存在10多年，几乎影响所有GNU/Linux发行版，目前尚未有修复补丁，不过可以缓解，解决方案如下2024-09-27- 在Linux系统中，分区管理是非常重要的一项工作，在使用Linux系统的过程中，有时候我们需要删除某个分区来释放存储空间或重新规划硬盘空间，那么，如何在Linux系统上删除分2024-09-14
深度操作系统deepin 25开发计划公布: 2025 年 01 月发布
deepin 25 计划发布时间为 2025 年01 月，此版本的主要目标是修复 deepin 23 中的遗留问题，提升系统稳定性2024-09-14- FDISK是一个用于硬盘分区的工具，特别是在较早的操作系统版本中，如Windows 98和早期的Linux系统中，FDISK是进行硬盘分区的主要工具，这里就为大家分享一下linux系统中使用2024-08-29
黑神话悟空怎么下载安装? 深度操作系统deepin23黑神话悟空安装教程
deepin23系统想要体验《黑神话：悟空》游戏，该怎么下载安装呢？下面我们就来看看详细的图文教程2024-08-22
最新评论