Python如何读取16进制byte数据
更新时间：2022年05月20日 11:31:19 作者：rysander
这篇文章主要介绍了Python如何读取16进制byte数据，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
如何读取16进制byte数据
小弟最近在做网络编程的时候，遇到了一些byte数据需要储存，但是不是常见的str字符对应的byte，类似于b'\x00\xff\xfe\x01'这样的数据，查找资料后发现这种东西是16进制编码的byte格式，可以直接转成str没有问题，但是再转回bytes就会出现莫名其妙的双斜杠，很是头疼。
a = b'\x00\xef\xa2\xa0\xb3\x8b\x9d\x1e\xf8\x98\x19\x39\xd9\x9d\xfdABCDabcd' b = str(a) print(b) >>> b'\x00\xef\xa2\xa0\xb3\x8b\x9d\x1e\xf8\x98\x199\xd9\x9d\xfdABCDabcd' print(bytes(b,'utf8')) >>> b"b'\\x00\\xef\\xa2\\xa0\\xb3\\x8b\\x9d\\x1e\\xf8\\x98\\x199\\xd9\\x9d\\xfdABCDabcd'"
尝试写入文件，再读取也是如此，因为写进去的形式就是str字符
# 写入data.txt
a = b'\x00\xef\xa2\xa0\xb3\x8b\x9d\x1e\xf8\x98\x19\x39\xd9\x9d\xfdABCDabcd'
with open('data.txt','w') as p:
p.write(str(a))
# 读取data.txt
with open('data.txt','r') as p:
line = p.readline()
print(line, type(line) == str)
>>> b'\x00\xef\xa2\xa0\xb3\x8b\x9d\x1e\xf8\x98\x199\xd9\x9d\xfdABCDabcd\\' True
print(bytes(line,'utf8'))
>>> b"b'\\x00\\xef\\xa2\\xa0\\xb3\\x8b\\x9d\\x1e\\xf8\\x98\\x199\\xd9\\x9d\\xfdABCDabcd\\\\'"观察了一下ASCII码，发现主要还是因为\x字符被理解成了一个斜杠加x的形式，然后被储存为str形式，相当于变成了两个字节。
这样解码的时候分开解了，但是\xnn这种形式是应该看作ASCII码的，于是我写了个转义的逻辑进行读取：
def readbytetxt(filename):
dic = {
'0': 0, '1': 1, '2': 2,
'3': 3, '4': 4, '5': 5,
'6': 6, '7': 7, '8': 8,
'9': 9, 'a': 10, 'b': 11,
'c': 12, 'd': 13, 'e': 14,
'f': 15,
}
with open(filename,'r') as p:
line = p.readline()
while line:
if line[-1] == '\n':
line = line[:-1]
i = 2
L = b''
while i+1 < len(line):
if line[i:i+2] == '\\x' and (line[i+2] in dic.keys()) and (line[i+3] in dic.keys()):
L += bytes([dic[line[i+2]]*16+dic[line[i+3]]])
i += 4
else:
L += bytes(line[i],'utf8')
i += 1
return L
line = p.readline()
print(readbytetxt('data.txt'))
>>> b'\x00\xef\xa2\xa0\xb3\x8b\x9d\x1e\xf8\x98\x19\x39\xd9\x9d\xfdABCDabcd'问题解决了！基本就是写了个遍历，然后遇到\x就把16进制转成十进制的int，然后解码成bytes，这样常见的十六进制格式基本都能调用了。
后来发现除了\x还有其他的转义字符，比如\\，\n，如果不添加转变逻辑的话，依然会出现不识别的问题，于是重写了一下函数，支持了常见的大部分转义字符，并且写成了生成器输出。
def readbytetxt2(filename):
dic = {
'0': 0, '1': 1, '2': 2,
'3': 3, '4': 4, '5': 5,
'6': 6, '7': 7, '8': 8,
'9': 9, 'a': 10, 'b': 11,
'c': 12, 'd': 13, 'e': 14,
'f': 15,
}
dic2 = {
'a': '\a', 'b': '\b',
'f': '\f', 'n': '\n',
'r': '\r', 'v': '\v',
'\'': '\'', '\"': '',
'\\': '\\',
}
with open(filename,'r') as p:
line = p.readline()
while line:
if line[-1] == '\n':
line = line[:-1]
i = 2
L = b''
while i+1 < len(line):
if line[i:i+2] == '\\x' and (line[i+2] in dic.keys()) and (line[i+3] in dic.keys()):
L += bytes([dic[line[i+2]]*16+dic[line[i+3]]])
i += 4
elif line[i] == '\\' and line[i+1] in dic2.keys():
L += bytes(dic2[line[i+1]],'utf8')
i += 2
elif line[i:i+4] == '\\000':
L += bytes('\000','utf8')
i += 2
else:
L += bytes(line[i],'utf8')
i += 1
yield L
line = p.readline()
a = b'\x00\xef\xa2\xa0\xb3\x8b\x9d\x1e\xf8\x98\x19\x39\xd9\x9d\xfdthe first line\n\r\a\b\t\\\f\'\"\v\b\n\000'
b = b'\xa0\xdf\xa2\xa0\xb3\x8b\x9d\x1e\xf8\x98\x19\x39\xd9\x9d\xfdthe second line\nn'
c = b'\xe0\xaf\xa2\xa0\xb3\x8b\x9d\x1e\xf8\x98\x19\x39\xd9\x9d\xfdthe third line\\'
with open('data.txt','w') as p:
p.write(str(a)+'\n')
p.write(str(b)+'\n')
p.write(str(c))
line = readbytetxt2('data.txt')
print([a for a in line])
>>> [b'\x00\xef\xa2\xa0\xb3\x8b\x9d\x1e\xf8\x98\x199\xd9\x9d\xfdthe first line\n\r\x07\x08\\t\\\x0c\'"\x0b\x08\n\x00', b'\xa0\xdf\xa2\xa0\xb3\x8b\x9d\x1e\xf8\x98\x199\xd9\x9d\xfdthe second line\nn', b'\xe0\xaf\xa2\xa0\xb3\x8b\x9d\x1e\xf8\x98\x199\xd9\x9d\xfdthe third line\\']基本上至此为止，大部分编码形式都可以搞定了。
但是。。。其实还有一个更简单的方式！因为其实万恶之源就是str字符格式里面有很多转义的地方不清不楚的，我想要的是byte存进文件，再以byte读出来，而byte格式本来就是16进制的数字，说到底其实只要能存数字就可以了！所以写了个更简单的方法，直接转成数字存数字列表就好！
L = []
a = b'\x00\xef\xa2\xa0\xb3\x8b\x9d\x1e\xf8\x98\x19\x39\xd9\x9d\xfdthe first line\n\r\a\b\t\\\f\'\"\v\b\n\000'
print(a)
for each in a:
L.append(int(each))
with open('data.txt','w') as p:
p.write(str(L))
print(L)
>>> [0, 239, 162, 160, 179, 139, 157, 30, 248, 152, 25, 57, 217, 157, 253, 116, 104, 101, 32, 102, 105, 114, 115, 116, 32, 108, 105, 110, 101, 10, 13, 7, 8, 9, 92, 12, 39, 34, 11, 8, 10, 0]
with open('data.txt','r') as p:
line = p.readline()
print(b''.join([bytes([int(i)]) for i in line[1:-1].split(',')]))
>>> b'\x00\xef\xa2\xa0\xb3\x8b\x9d\x1e\xf8\x98\x199\xd9\x9d\xfdthe first line\n\r\x07\x08\t\\\x0c\'"\x0b\x08\n\x00'存进去的是数字列表，然后用split的方式读出来就可以了，这样也不会有各种转义搞不清的地方，数字是什么就读什么byte出来就可以了。
Python的十六进制数
转换关系
十进制整数转十六进制整数用hex()；十六进制整数转十进制整数用int()
类似地，十进制整数转二进制整数用bin()；十进制整数转八进制整数用oct()
hex() 函数
描述：hex() 函数用于将10进制整数转换成16进制，以字符串形式表示。
语法：
hex(x)
参数说明：x – 10进制整数
返回值：返回16进制数，以字符串形式表示。
int() 函数
描述：int() 函数用于将一个字符串或数字转换为整型。
语法：
class int(x, base=10)
参数说明：x – 字符串或数字。base – 进制数，默认十进制。
返回值：返回整型数据。
运算
对于十六进制整数，在进行运算前先转换成十进制整数，再对其进行运算，之后将运算结果转换回十六进制数。
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
在开发一些大型项目的时候，都会使用日志来记录项目运行时产生的信息，以备出错时定位分析和从日志信息中提取数据统计分析等。在 Python 中使用 logging 内置模块即可对项目进行日志的配置。2021-05-05
下面小编就为大家带来一篇深入了解Python数据类型之列表。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧2016-06-06
在大多数场景中，我们都用 lxml 库解析网页源码，但你是否知道，lxml 库也是可以操作 svg 图片的。本文就来和大家聊聊具体操作方法，希望对大家有所帮助2023-01-01
这篇文章主要介绍了Python如何做一个名片管理系统，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-03-03
PyWebIO提供了一系列命令式的交互函数来在浏览器上获取用户输入和进行输出，将浏览器变成了一个“富文本终端”，可以用于构建简单的Web应用或基于浏览器的GUI应用。本文将利用PyWebIO制作一个网页版的数据查询器，感兴趣的可以学习一下2021-12-12
这篇文章主要介绍了Python搭建FastAPI项目的过程，本文通过图文实例相结合给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2023-09-09
这篇文章主要为大家详细介绍了python面向对象版实现学员管理系统，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2022-06-06
这篇文章主要为大家详细介绍了Python中方法链的使用方法，方法链（method chaining）是面向对象的编程语言中的一种常见语法，对方法链感兴趣的小伙伴们可以参考一下2016-02-02
这篇文章主要介绍了Python正则表达式中贪婪/非贪婪特性的相关资料，文中通过示例代码介绍的很详细，对大家具有一定的参考价值，需要的朋友下面来一起看看吧。2017-03-03
今天小编就为大家分享一篇python画图——实现在图上标注上具体数值的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-07-07
最新评论