Python使用open函数的buffering设置文件缓冲方式

 更新时间:2024年02月10日 10:03:29   作者:AllardZhao  
这篇文章主要介绍了Python使用open函数的buffering设置文件缓冲方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教

如何设置文件的缓冲

实际案例

将文件内容写到硬件设备时,使用系统调用,这类I/O操作的时间很长。

为了减少I/O操作的次数,文件通常使用缓冲区。

(有足够多的数据才进行系统调用)文件的缓冲行为,分为全缓冲、行缓冲、无缓冲。

如何设置python中文件对象的缓冲行为?

python文件对象默认的缓冲行为4个字节(4096)

解决方案

  • 全缓冲:open函数的buffering设置为大于1的整数n,n为缓冲区大小。
  • 行缓冲:open函数的buffering设置为1 。
  • 无缓冲:pen函数的buffering设置为0。

注意:

都是在python交互模式下进行的操作,如果是用脚本,脚本运行完关闭文件对象,缓冲区内容就会写到磁盘中,这样就观察不了缓冲区不同大小的行为了。

文件缓冲介绍?

对于磁盘这类的块设备,它的读写不是一个字节一个字节完成的,而是按块每次读写一个块,假设一个块的大小是4096个字节,那就意味着写入一个字节和写入4096个字节都需要一次I/O操作,它们的用时是相同的。

在这种情况为了提高效率就要减少I/O操作的次数,使用的手段就是为文件设立一个缓冲区。

当需要写入的字节数不足一个块设备大小的时候,那么都放入缓冲区当中,凑够一个块的大小才调用一次系统调用。

  • 全缓冲就是缓冲区有一定大小满足那个数量就进行一次系统调用;
  • 行缓冲就是碰到一个换行符就进行一次输出也就是一次系统调用;
  • 无缓冲就是不希望有缓冲的实时写入到文件,如串口设备,需要及时的发送到串口上去。

代码演示

f = open('open.txt', 'wb')
'''
使用tail -f open.txt,实时查看文件内容,
python交互模式下,输入以下内容,查看写入4096个字节前后输出变化。
'''
f.write(b'abc')
f.write(b'+' * 4093)
f.write(b'-')
'''
普通文件默认的缓冲行为,缓冲区的大小4096,是根据平台和
块设备自身的属性相关。在某些情况下想改变缓冲区的大小应该怎么做?
通过open函数buffering参数设置缓冲大小。
'''
# 设置全缓冲区的大小为2048
f2 = open('demo2.txt', 'wb', buffering=2048)
f2.write(b'+' * 1024)
f2.write(b'+' * 1023)
f2.write(b'-' * 2)
 
# 设置行缓冲,buffering为1
f3 = open('demo3.txt', 'wb', buffering=1)
f.write(b'abc')
f.write(b'123')
f.write(b'\n')
 
# 无缓冲,buffering为0
f4 = open('demo4.txt', 'wb', buffering=0)
f4.write(b'a')
f4.write(b'1234')

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • python实现简单的学生成绩管理系统

    python实现简单的学生成绩管理系统

    这篇文章主要为大家详细介绍了python实现简单的学生成绩管理系统,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2022-02-02
  • pycharm显示远程图片的实现

    pycharm显示远程图片的实现

    这篇文章主要介绍了pycharm显示远程图片的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-11-11
  • Python数据可视化实现多种图例代码详解

    Python数据可视化实现多种图例代码详解

    这篇文章主要介绍了Python数据可视化实现多种图例代码详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-07-07
  • Python反射和内置方法重写操作详解

    Python反射和内置方法重写操作详解

    这篇文章主要介绍了Python反射和内置方法重写,结合实例形式较为详细的分析了Python反射概念、原理及内置方法重写相关操作技巧与注意事项,需要的朋友可以参考下
    2018-08-08
  • Python实现视频自动打码的示例代码

    Python实现视频自动打码的示例代码

    我们在观看视频的时候,有时候会出现一些奇怪的马赛克,影响我们的观影体验,那么这些马赛克是如何精确的加上去的呢?本文就来为大家详细讲讲
    2022-04-04
  • 三步实现Django Paginator分页的方法

    三步实现Django Paginator分页的方法

    这篇文章主要介绍了三步实现Django Paginator分页的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-06-06
  • Python利用scapy实现ARP欺骗的方法

    Python利用scapy实现ARP欺骗的方法

    今天小编就为大家分享一篇Python利用scapy实现ARP欺骗的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-07-07
  • 浅谈使用Python内置函数getattr实现分发模式

    浅谈使用Python内置函数getattr实现分发模式

    这篇文章主要介绍了浅谈使用Python内置函数getattr实现分发模式,小编觉得还是挺不错的,具有一定借鉴价值,需要的朋友可以参考下
    2018-01-01
  • python matplotlib库绘制条形图练习题

    python matplotlib库绘制条形图练习题

    这篇文章主要介绍了python matplotlib库绘制条形图练习题,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-08-08
  • Python Socket传输文件示例

    Python Socket传输文件示例

    这篇文章主要介绍了Python Socket传输文件示例,发送端可以不停的发送新文件,接收端可以不停的接收新文件。有兴趣的可以了解一下。
    2017-01-01

最新评论