python3.x读写文件及BOM处理详解

 更新时间:2024年01月04日 15:53:39   作者:梯阅线条  
这篇文章主要为大家详细介绍了python3.x读写文件及BOM处理的相关知识,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下

1 python3.x读写文件及BOM处理

1.1 python3.x读取和写入Unicode

python3.x的字符串为unicode,可以调用encode()方法手动将字符串编码为字节串(原始字节),也可以通过文件输入输出自动编码。

1.1.1 手动编码

描述

python3.x的字符串通过encode(编码名)方法,将字符串转换为原始字节串。

示例

>>> s='梯'
# python3.x 字符串 str 对应 unicode
>>> s,type(s)
('梯', <class 'str'>)
>>> s_gbk=s.encode('gbk')
>>> s_utf8=s.encode('utf-8')
# 1个汉字,gbk编码为2个字节, utf-8 编码为3个字节
# 2位16进制 占1个字节
>>> s_gbk,s_utf8
(b'\xcc\xdd', b'\xe6\xa2\xaf')
>>> len(s_gbk),len(s_utf8)
(2, 3)

1.1.2 写文件编码

描述

open写文件时,指定的encoding为文件保存到磁盘时的编码格式。

示例

# 写文件时 encoding 表示文件存储到磁盘的编码格式
>>> open('gbk.txt','w',encoding='gbk').write('梯')
1
>>> open('utf8.txt','w',encoding='utf-8').write('梯')
1
# 'rb' 二进制模式,读取文件内容为bytes类型,为文件实际存储的字节串
# gbk编码,1个中文占2个字节
>>> open('gbk.txt','rb').read()
b'\xcc\xdd'
# utf-8编码,1个中文占3个字节
>>> open('utf8.txt','rb').read()
b'\xe6\xa2\xaf'

1.1.3 读文件编码

描述

open读文件时,指定的encoding为解释器读取文件字节串解码使用的编码格式。

示例

# 读文件时 encoding 表示解释器读取文件字节串解码使用的编码格式
# 需与文件存储时编码格式相同
>>> open('gbk.txt','r',encoding='gbk').read()
'梯'
>>> open('utf8.txt','r',encoding='utf-8').read()
'梯'
>>> dgbk=open('gbk.txt','rb').read();dgbk
b'\xcc\xdd'
>>> dutf8=open('utf8.txt','rb').read();dutf8
b'\xe6\xa2\xaf'
# 二进制模式,读取文件内容后进行手动解码
# python3.x 解释器默认编码为utf-8
>>> dgbk.decode('gbk');dutf8.decode()
'梯'
'梯'

1.2 python读写文件默认编码

1.2.1 locale.getpreferredencoding()

用法

import locale
locale.getpreferredencoding()

描述

python的locale**.getpreferredencoding()**用于获取用户的首选编码。

入参为False,表示不使用任何额外设置。

入参为True或空,表示考虑当前语言环境设置。

用户的首选编码用于python的open()函数读写文件的默认编码。

示例

>>> import locale
>>> locale.getpreferredencoding()
'cp936'
>>> locale.getpreferredencoding(False)
'cp936'

1.2.2 获取梯的编码字节串

>>> '梯'.encode()
b'\xe6\xa2\xaf'
>>> '梯'.encode('utf-8')
b'\xe6\xa2\xaf'
>>> '梯'.encode('gbk')
b'\xcc\xdd'
>>> '梯'.encode('cp936')
b'\xcc\xdd'
# utf-16 带小端字节序
>>> '梯'.encode('utf-16')
b'\xff\xfe\xafh'
# utf-16 忽略小端字节序(little BOM)
>>> '梯'.encode('utf-16-le')
b'\xafh'

1.2.3 python3.x读写文件默认编码

描述

python3.x通过文本模式的open()打开文件,

encoding未传时,默认编码取locale.getpreferredencoding(False)。

open().encoding获取文件对象的编码方式。

open()打开文件时指定encoding编码格式。

示例

>>> fpath='temp.txt'
# open()函数encoding未传时默认编码取 locale.getpreferredencoding(False)
# 'r+' 文本模式打开文件
>>> f=open(fpath,'r+')
# f.encoding 获取文件对象的编码方式
>>> f.encoding
'cp936'
# 文件指针会停留在文件结尾
>>> f.write('梯')
1
# 文件指针移动到开头
>>> f.seek(0)
0
>>> f.read()
'梯'
>>> f.close()
# 'rb' 二进制模式直接读取文件的字节串
# 与 cp936 编码一致
>>> open(fpath,'rb').read()
b'\xcc\xdd'
# 通过 相同的编码 cp936或gbk 读取文件内容
>>> open(fpath,'r',encoding='cp936').read()
'梯'
>>> open(fpath,'r',encoding='gbk').read()
'梯'
>>> open(fpath,'r',encoding='utf-8').read()
Traceback (most recent call last):
  File "<pyshell#24>", line 1, in <module>
    open(fpath,'r',encoding='utf-8').read()
  File "D:\python3\lib\codecs.py", line 322, in decode
    (result, consumed) = self._buffer_decode(data, self.errors, final)
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xcc in position 0: invalid continuation byte

1.2.4 python2.x读写文件默认编码

描述

python2.x通过文本模式的open()打开文件,没有encoding入参,

写文件时默认编码取locale.getpreferredencoding(False),

读文件时直接读取字节串。

python2.x通过codecs.open(encoding)指定文件编码格式。

如果要向文件写入write中文,需用Unicode字符串,通过u’梯’进行创建后写入。

示例

# python2.x内置open()函数没有encoding入参,无法指定编码方法
>>> fpath='temp.txt'
>>> f=open(fpath,'w')
>>> f.write('a梯')
>>> f.close()
>>> open(fpath,'r').read()
'a\xcc\xdd'
# 'rb' 二进制模式直接读取文件的字节串
# 与 cp936 编码一致
>>> open(fpath,'rb').read()
'a\xcc\xdd'
>>> len('a梯')
3
# python2.x通过 codecs.open(encoding)指定编码
>>> import codecs
>>> f=codecs.open(fpath,'w','utf-8')
# 写入汉字时需要通过u'汉字'创建Unicode字符串
# 因为python2.x解释器默认编码为ASCII码,
# '梯'字符串str用操作系统cp936自动编码为 '\xcc\xdd'
# 解释器需要对其解码为Unicode,解码时 \xcc 不在ASCII范围内,会报错
>>> f.write(u'梯')
>>> f.close()
# 'rb' 二进制模式直接读取文件的字节串
# 与 utf-8 编码一致
>>> codecs.open(fpath,'rb').read()
'\xe6\xa2\xaf'

1.3 python3.x处理BOM

描述

文件开始的字节顺序标记(BOM,Byte Order Mark)。

UTF-8的BOM:’\xef\xbb\xbf’,对应Unicode:'\ufeff’。

UTF-16的小端BOM:’ \xff\xfe’ 对应Unicode: ‘\ufeff’。

NO写文件文件开头带BOM读文件
1UTF-8文件开头不添加BOM显示BOM的Unicode
2UTF-8-sig文件开头添加BOM不显示BOM
3UTF-16文件开头默认添加当前系统字节序BOM不显示BOM
4UTF-16-le文件开头不添加BOM显示BOM的Unicode

示例

>>> fpath='utf8bom.txt'
# encoding='utf-8-sig', 写文件时,会在文件开头加入 字节顺序标记
>>> open(fpath,'w',encoding='utf-8-sig').write('梯')
1
>>> open(fpath,'rb').read()
b'\xef\xbb\xbf\xe6\xa2\xaf'
>>> open(fpath,'r',encoding='utf-8').read()
'\ufeff梯'
# encoding='utf-8-sig', 读文件时,忽略字节顺序标记
>>> open(fpath,'r',encoding='utf-8-sig').read()
'梯'

>>> import sys
# sys.byteorder 当前系统的字节序, 'little'(小端)或 'big'(大端)
>>> sys.byteorder
'little'
# 写文件时,encoding='utf-16' ,默认添加当前系统字节序(little)
>>> open(fpath,'w',encoding='utf-16').write('梯')
1
# 二进制模式,读取实际存放字节串,utf-16小端字节序为 \xff\xfe 
>>> open(fpath,'rb').read()
b'\xff\xfe\xafh'
>>> open(fpath,'r',encoding='utf-16').read()
'梯'
# encoding='utf-16-le',读文件时,忽略字节顺序标记
>>> open(fpath,'r',encoding='utf-16-le').read()
'\ufeff梯'

# encoding='utf-16-le',写文件时,不添加BOM
>>> open(fpath,'w',encoding='utf-16-le').write('梯')
1
>>> open(fpath,'rb').read()
b'\xafh'
>>> open(fpath,'r',encoding='utf-16-le').read()
'梯'
# encoding='utf-16-le',写文件后,不能用 utf-16 读取
>>> open(fpath,'r',encoding='utf-16').read()
Traceback (most recent call last):
  File "<pyshell#102>", line 1, in <module>
    open(fpath,'r',encoding='utf-16').read()
  File "D:\python3\lib\codecs.py", line 322, in decode
    (result, consumed) = self._buffer_decode(data, self.errors, final)
  File "D:\python3\lib\encodings\utf_16.py", line 67, in _buffer_decode
    raise UnicodeError("UTF-16 stream does not start with BOM")
UnicodeError: UTF-16 stream does not start with BOM

到此这篇关于python3.x读写文件及BOM处理详解的文章就介绍到这了,更多相关python3.x读写文件及BOM处理内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Django实现WebSSH操作物理机或虚拟机的方法

    Django实现WebSSH操作物理机或虚拟机的方法

    这篇文章主要介绍了Django实现WebSSH操作物理机或虚拟机的方法,非常不错,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-11-11
  • 使用Python计算两个不同列表的相似度

    使用Python计算两个不同列表的相似度

    这篇文章主要介绍了使用Python计算两个不同列表的相似度,Python数据开发工作中的需求两个不同列表给出相似度,本文实现判断数字类型相似度和字符串类型相似度,非常实用,需要的朋友可以参考下
    2023-07-07
  • Python中性能分析利器pyinstrument详细讲解

    Python中性能分析利器pyinstrument详细讲解

    大家好,本篇文章主要讲的是Python中性能分析利器pyinstrument详细讲解,感兴趣的同学赶快来看一看吧,对你有帮助的话记得收藏一下
    2022-02-02
  • python SMTP实现发送带附件电子邮件

    python SMTP实现发送带附件电子邮件

    这篇文章主要为大家详细介绍了python SMTP实现发送带附件电子邮件,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-05-05
  • Python机器学习iris数据集预处理和模型训练方式

    Python机器学习iris数据集预处理和模型训练方式

    iris数据集包含150个样本,每个样本有4个特征及其类别信息,本文介绍了iris数据集的基本操作和如何使用knn模型进行花卉种类预测,是机器学习中的经典案例,适用于监督式学习
    2024-10-10
  • Python中的Joblib库使用学习总结

    Python中的Joblib库使用学习总结

    这篇文章主要介绍了Python中的Joblib库使用学习总结,Joblib是一组在Python中提供轻量级流水线的工具,Joblib已被优化得很快速,很健壮了,特别是在大数据上,并对numpy数组进行了特定的优化,需要的朋友可以参考下
    2023-08-08
  • Python数据库安装及MySQL Connector应用教程

    Python数据库安装及MySQL Connector应用教程

    这篇文章主要为大家介绍了Python数据库安装及MySQL Connector应用教程,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-11-11
  • Python利用Pytorch实现绘制ROC与PR曲线图

    Python利用Pytorch实现绘制ROC与PR曲线图

    这篇文章主要和大家分享一下Python利用Pytorch实现绘制ROC与PR曲线图的相关代码,文中的示例代码讲解详细,具有一定的借鉴价值,需要的可以参考一下
    2022-12-12
  • python实现的用于搜索文件并进行内容替换的类实例

    python实现的用于搜索文件并进行内容替换的类实例

    这篇文章主要介绍了python实现的用于搜索文件并进行内容替换的类,涉及Python针对文件及字符串的相关操作技巧,需要的朋友可以参考下
    2015-06-06
  • Python中的rjust()方法使用详解

    Python中的rjust()方法使用详解

    这篇文章主要介绍了Python中的rjust()方法使用详解,是Python学习入门中的基础知识,需要的朋友可以参考下
    2015-05-05

最新评论