浅谈python写入大量文件的问题
更新时间：2018年11月09日 09:01:37 作者：NesCafee
今天小编就为大家分享一篇浅谈python写入大量文件的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
今天准备把几个txt文件合并成一个文件时，用f.write方法写入时，发现程序执行完了，本应该十万行左右的txt记录，实际上只被写入了4k多行。
网上查了是因为程序执行速度太快，以至于读到内容还没有完全写入文件，文件就已经关闭了
方法一：加入缓冲区
f.flush() //operation os.fsync(output) f.close()
打开文件后执行flush(),关闭文件前执行os.fsync()确保缓冲区的内容都写出去了。
方法二：用sleep
用了上述方法不行，因为我在打开文件后用了迭代输出，可能会让缓冲区爆炸，在循环中加入sleep函数可以确保每次循环都能将内容写入
with open(outputfile,'a') as output:
for i in all_txt_name:
f =open(dir+'/'+i)
for a in f:
output.write(a)
time.sleep(0.00000001)
f.close()
后来发现：
txt文件如果太大，在pycharm中只会显示一小部分，可能是指显示了部分文件导致未以为文件没写进去，fuck
以上这篇浅谈python写入大量文件的问题就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要为大家介绍了Pytorch卷积神经网络迁移学习的目标实现代码及好处介绍，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-05-05
这篇文章主要介绍了django之导入并执行自定义的函数模块图解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-04-04
浅谈Python中chr、unichr、ord字符函数之间的对比
chr、unichr、ord在Python中都可以被用作字符类型转换,这里我们就来浅谈Python中chr、unichr、ord字符函数之间的对比,需要的朋友可以参考下2016-06-06
下面小编就为大家带来一篇python模块之sys模块和序列化模块(实例讲解)。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-09-09
with 语句适用于对资源进行访问的场合，确保不管使用过程中是否发生异常都会执行必要的“清理”操作，释放资源，比如文件使用后自动关闭、线程中锁的自动获取和释放等。这篇文章主要介绍了Python 使用with上下文实现计时,需要的朋友可以参考下2018-03-03
Python2.7版os.path.isdir中文路径返回false的解决方法
这篇文章主要为大家详细介绍了Python2.7版os.path.isdir中文路径返回false的解决方法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2019-06-06
这篇文章主要介绍了Python实现的tcp端口检测操作,结合实例形式分析了Python使用socket模块实现tcp端口检测功能的相关操作技巧,需要的朋友可以参考下2018-07-07
这篇文章主要介绍了Matlab求解数组中的最大值及它所在的具体位置，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-04-04
作为Python开发者，你迟早都会用到图形用户界面来开发应用。本文将推荐Python GUI工具取色器的一些知识，感兴趣的朋友一起看看吧2021-06-06
这篇文章主要介绍了Python Scrapy框架第一个入门程序,结合实例形式分析了Python Scrapy框架项目的搭建、抓取字段设置、数据库保存等相关操作技巧,需要的朋友可以参考下2020-02-02
最新评论