python实现按行切分文本文件的方法

 更新时间:2016年04月18日 11:05:47   作者:mo_guang  
这篇文章主要介绍了python实现按行切分文本文件的方法,涉及Python利用shell命令操作文本文件的相关技巧,需要的朋友可以参考下

本文实例讲述了python实现按行切分文本文件的方法。分享给大家供大家参考,具体如下:

python脚本利用shell命令来实现文本的操作, 这些命令大大减少了我们的代码量。

比如按行切分文件并返回切分后得到的文件列表,可以利用内建的split命令进行切分。为了返回得到的文件列表名,可以先将文件切分到自建的子目录中,然后通过os.listdir获取所有文件,再将这些文件移到上一级目录(即函数参数指定的新目录),删除自建子目录,最后返回该文件名列表。

代码如下,如发现问题欢迎指正:

# 创建新路径
def make_dirs(path):
  if not os.path.isdir(path):
    os.makedirs(path)
# 获取文件的行数
def get_total_lines(file_path):
  if not os.path.exists(file_path):
    return 0
  cmd = 'wc -l %s' % file_path
  return int(os.popen(cmd).read().split()[0])
# 函数split_file_by_row: 按行切分文件
# filepath: 切分的目标文件
# new_filepath: 生成新文件的路径
# row_cnt: 每个文件最多包含几行
# suffix_type: 新文件后缀类型,如两位字母或数字
# return: 切分后的文件列表
def split_file_by_row(filepath, new_filepath, row_cnt, suffix_type='-d'):
  tmp_dir = "/split_file_by_row/"
  make_dirs(new_filepath)
  make_dirs(new_filepath+tmp_dir)
  total_rows = get_total_lines(filepath)
  file_cnt = int(math.ceil(total_rows*1.0/row_cnt))
    command = "split -l%d -a2 %s %s %s" % (row_cnt, suffix_type, filepath, new_filepath+tmp_dir)
    os.system(command)
    filelist = os.listdir(new_filepath+tmp_dir)
  command = "mv %s/* %s"%(new_filepath+tmp_dir, new_filepath)
  os.system(command)
  command = "rm -r %s"%(new_filepath+tmp_dir)
  os.system(command)
  return [new_filepath+fn for fn in filelist]

更多关于Python相关内容感兴趣的读者可查看本站专题:《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总

希望本文所述对大家Python程序设计有所帮助。

相关文章

  • Python入门篇之正则表达式

    Python入门篇之正则表达式

    正则表达式是一个很有用的工具,可处理复杂的字符匹配和替换工作。在Python中内置了一个re模块以支持正则表达式。本文我们就来详细探讨下Python中正则表达式。
    2014-10-10
  • Python基于Dlib的人脸识别系统的实现

    Python基于Dlib的人脸识别系统的实现

    这篇文章主要介绍了Python基于Dlib的人脸识别系统的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-02-02
  • python实现四舍五入方式

    python实现四舍五入方式

    这篇文章主要介绍了python实现四舍五入方式,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2023-01-01
  • python3调用c语言代码的全过程记录

    python3调用c语言代码的全过程记录

    python调用c语言代码的方式十分简单,只需四步。下面这篇文章就来给大家详细介绍了关于python3如何调用c语言代码的相关资料,需要的朋友可以参考下
    2021-05-05
  • Python用Jira库来操作Jira

    Python用Jira库来操作Jira

    这篇文章主要介绍了Python如何用Jira库来操作Jira,帮助大家更好的理解和使用python,感兴趣的朋友可以了解下
    2020-12-12
  • opencv+tesseract实现验证码识别的示例

    opencv+tesseract实现验证码识别的示例

    本文主要介绍了opencv+tesseract实现验证码识别的示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2022-06-06
  • 详谈Python3 操作系统与路径 模块(os / os.path / pathlib)

    详谈Python3 操作系统与路径 模块(os / os.path / pathlib)

    下面小编就为大家分享一篇详谈Python3 操作系统与路径 模块(os / os.path / pathlib),具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-04-04
  • Python混合使用同步和异步函数的方法

    Python混合使用同步和异步函数的方法

    Python是一种非常灵活的编程语言,可以混合使用同步和异步函数来实现更高效的编程。本文将介绍如何在Python中混合使用同步和异步函数,以及如何在不同场景下选择合适的函数,感兴趣的可以了解一下
    2023-03-03
  • Python多线程爬虫简单示例

    Python多线程爬虫简单示例

    这篇文章主要为大家详细介绍了Python多线程爬虫简单示例,感兴趣的小伙伴们可以参考一下
    2016-03-03
  • python中heapq堆排算法的实现

    python中heapq堆排算法的实现

    这篇文章主要介绍了python中heapq堆排算法的实现,该模块提供了堆排序算法的实现。堆是二叉树,最大堆中父节点大于或等于两个子节点,最小堆父节点小于或等于两个子节点。下面文章更多详细介绍,需要的小伙伴可以参考一下
    2022-05-05

最新评论