脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → linux shell → Shell实现乱序排列文件内容

Shell脚本实现乱序排列文件内容的多种方法（洗牌问题）

 更新时间：2015年01月27日 09:17:45   投稿：junjie  
这篇文章主要介绍了Shell脚本实现乱序排列文件内容的多种方法（洗牌问题）,本文给出3个Shell脚本和一个Python脚本解决乱序排列文件内容问题,需要的朋友可以参考下

洗牌问题：洗一副扑克，有什么好办法？既能洗得均匀，又能洗得快？即相对于一个文件来说怎样高效率的实现乱序排列？

ChinaUnix 确实是 Shell 高手云集的地方，只要你想得到的问题，到那里基本上都能找到答案。r2007 给出了一个取巧的方法，利用 Shell 的 $RANDOM 变量给原文件的每一行加上随机的行号然后根据这个随机行号进行排序，再把临时加上去的行号给过滤掉，这样操作之后得到的新文件就相当于被随机“洗”了一次：

复制代码 代码如下:

while read i;do echo "$i $RANDOM";done<file|sort -k2n|cut -d" " -f1

当然如果你的源文件每行的内容比较复杂的话就必须对这段代码进行改写，但只要知道了处理的关键技巧，剩下的问题都不难解决。

另外一篇来自苏蓉蓉的用 awk 来实现洗牌效果的随机文件排序代码分析（原贴在这里，以及对此帖的一个后续讨论，如果你没有登录帐号的话可以到这里查看精华区文章）则写的更为详细：
--------------------------------------------------------------------
关于洗牌问题，其实已经有了一个很好的shell解法，这里另外给三个基于AWK的方法，有错误之处还请不吝指出。

方法一：穷举

类似于穷举法，构造一个散列来记录已经打印行出现行的次数，如果出现次数多于一次则不进行处理，这样可以防止重复，但缺点是加大了系统的开销。

复制代码 代码如下:

awk -v N=`sed -n '$=' data` '
BEGIN{
FS="\n";
RS=""
}
{
srand();
while(t!=N){
  x=int(N*rand()+1);
  a[x]++;
  if(a[x]==1)
    {
        print $x;t++
    }
  }
}
' data

方法二：变换

基于数组下标变换的办法，即用数组储存每行的内容，通过数组下标的变换交换数组的内容，效率好于方法一。

复制代码 代码如下:

#! /usr/awk

BEGIN{
srand();
}

{
b[NR]=$0;
}

END{

C(b,NR);
for(x in b)
  {
    print b[x];
  }}

function C(arr,len,i,j,t,x){

for(x in arr)
  {
      i=int(len*rand())+1;
      j=int(len*rand())+1;
      t=arr[i];
      arr[i]=arr[j];
      arr[j]=t;
  }

}


方法三：散列

    三个方法中最好的。
    利用AWK中散列的特性(详细请看：info gawk 中的7.x ),只要构造一个随机不重复的散列函数即可，因为一个文件每行的linenumber是独一无二的，所以用：

    随机数＋每行linenumber    ------对应------>    那一行的内容

    即为所构造的随机函数。
    从而有：

复制代码 代码如下:

awk 'BEGIN{srand()}{b[rand()NR]=$0}END{for(x in b)print b[x]}' data

    其实大家担心的使用内存过大的问题不必太在意，可以做一个测试：

测试环境：

PM 1.4GHz CPU,40G硬盘，内存256M的LAPTOP
SUSE 9.3  GNU bash version 3.00.16 GNU Awk 3.1.4

产生一个五十几万行的随机文件,大约有38M：

复制代码 代码如下:

od /dev/urandom |dd  count=75000 >data

拿效率较低的方法一来说:

洗牌一次所用时间:

复制代码 代码如下:

time awk -v N=`sed -n '$=' data` '
BEGIN{
FS="\n";
RS=""
}
{
srand();
while(t!=N){
  x=int(N*rand()+1);
  a[x]++;
  if(a[x]==1)
    {
        print $x;t++
    }
  }
}
' data

结果（文件内容省略）：
复制代码 代码如下:

real    3m41.864s
user    0m34.224s
sys     0m2.102s

所以效率还是勉强可以接受的。

方法二的测试:

复制代码 代码如下:

time awk -f awkfile datafile

结果（文件内容省略）：
复制代码 代码如下:

real    2m26.487s
user    0m7.044s
sys     0m1.371s

效率明显好于第一个。

接着考察一下方法三的效率：

复制代码 代码如下:

time awk 'BEGIN{srand()}{b[rand()NR]=$0}END{for(x in b)print b[x]}' data

结果（文件内容省略）：
复制代码 代码如下:

real    0m49.195s
user    0m5.318s
sys     0m1.301s

对于一个38M的文件来说已经相当不错了。
--------------------------------------------------------------------

附带存一个来自 flyfly 写的 python 版本乱序代码：

复制代码 代码如下:

#coding:gb2312
import sys
import random

def usage():
print "usage:program srcfilename dstfilename"
global filename
filename = ""
try:
filename = sys.argv[1]
except:
usage()
raise()
#open the phonebook file

f = open(filename, 'r')
phonebook = f.readlines()
print phonebook
f.close()

#write to file randomly
try:
filename = sys.argv[2]
except:
usage()
raise()

f = open(filename, 'w')
random.shuffle(phonebook)
f.writelines(phonebook)
f.close()

相关文章

  • 一个简单的linux命令 cat

    一个简单的linux命令 cat

    这篇文章主要介绍了一个简单的linux命令cat,cat命令用来显示文件内容，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2016-12-12
  • shell 脚本安装PHP扩展的简单方法

    shell 脚本安装PHP扩展的简单方法

    下面小编就为大家带来一篇shell 脚本安装PHP扩展的简单方法。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
    2017-03-03
  • Linux之时钟中断详解

    Linux之时钟中断详解

    这篇文章主要介绍了Linux之时钟中断详解，分享了相关代码示例，小编觉得还是挺不错的，具有一定借鉴价值，需要的朋友可以参考下
    2018-01-01
  • 使用Shell遍历目录及其子目录中的所有文件方法

    使用Shell遍历目录及其子目录中的所有文件方法

    今天小编就为大家分享一篇使用Shell遍历目录及其子目录中的所有文件方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2018-06-06
  • Shell逐行读取文件的4种方法

    Shell逐行读取文件的4种方法

    这篇文章主要介绍了Shell逐行读取文件的4种方法,本文介绍了while循环法、重定向法、管道法、文件描述符法等一些方法,需要的朋友可以参考下
    2014-12-12
  • Shell命令行中特殊字符与其转义详解(去除特殊含义)

    Shell命令行中特殊字符与其转义详解(去除特殊含义)

    这篇文章主要给大家详细介绍了Shell命令行中特殊字符与其转义(去除特殊含义)的相关资料，文中介绍的很详细，相信对大家具有一定的参考价值，有需要的朋友们下面来一起看吧。
    2017-02-02
  • Linux 命令head和tail常见用法详解

    Linux 命令head和tail常见用法详解

    这篇文章主要介绍了Linux 命令head和tail常见用法详解,文中分别对head和tail的基本用法做了详细介绍，需要的朋友可以参考下
    2018-09-09
  • Shell中select in的具体使用

    Shell中select in的具体使用

    本文主要介绍了Shell中select in的具体使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2023-06-06
  • Linux下压缩与解压命令详解

    Linux下压缩与解压命令详解

    这篇文章主要为大家详细介绍了Linux下压缩与解压缩命令，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2017-01-01
  • Linux Shell脚本编程初体验

    Linux Shell脚本编程初体验

    脚本语言是与计算机交流的另外一种途径。使用图形化窗口界面用户可以移动鼠标并点击各种对象，比如按钮、列表、选框等等。但这种方式在每次用户想要计算机/服务器完成相同任务时却是十分不方便。要想让所有这些事情变得简单并且自动化，我们可以使用shell脚本
    2015-08-08

最新评论