浅析Python中的序列化存储的方法

 更新时间:2015年04月28日 12:04:46   作者:廖雪峰  
这篇文章主要介绍了Python中的序列化存储的方法,序列化存储主要针对的是内存和硬盘之间的写入操作,需要的朋友可以参考下

在程序运行的过程中,所有的变量都是在内存中,比如,定义一个dict:

d = dict(name='Bob', age=20, score=88)

可以随时修改变量,比如把name改成'Bill',但是一旦程序结束,变量所占用的内存就被操作系统全部回收。如果没有把修改后的'Bill'存储到磁盘上,下次重新运行程序,变量又被初始化为'Bob'。

我们把变量从内存中变成可存储或传输的过程称之为序列化,在Python中叫pickling,在其他语言中也被称之为serialization,marshalling,flattening等等,都是一个意思。

序列化之后,就可以把序列化后的内容写入磁盘,或者通过网络传输到别的机器上。

反过来,把变量内容从序列化的对象重新读到内存里称之为反序列化,即unpickling。

Python提供两个模块来实现序列化:cPickle和pickle。这两个模块功能是一样的,区别在于cPickle是C语言写的,速度快,pickle是纯Python写的,速度慢,跟cStringIO和StringIO一个道理。用的时候,先尝试导入cPickle,如果失败,再导入pickle:

try:
  import cPickle as pickle
except ImportError:
  import pickle

首先,我们尝试把一个对象序列化并写入文件:

>>> d = dict(name='Bob', age=20, score=88)
>>> pickle.dumps(d)
"(dp0\nS'age'\np1\nI20\nsS'score'\np2\nI88\nsS'name'\np3\nS'Bob'\np4\ns."

pickle.dumps()方法把任意对象序列化成一个str,然后,就可以把这个str写入文件。或者用另一个方法pickle.dump()直接把对象序列化后写入一个file-like Object:

>>> f = open('dump.txt', 'wb')
>>> pickle.dump(d, f)
>>> f.close()

看看写入的dump.txt文件,一堆乱七八糟的内容,这些都是Python保存的对象内部信息。

当我们要把对象从磁盘读到内存时,可以先把内容读到一个str,然后用pickle.loads()方法反序列化出对象,也可以直接用pickle.load()方法从一个file-like Object中直接反序列化出对象。我们打开另一个Python命令行来反序列化刚才保存的对象:

>>> f = open('dump.txt', 'rb')
>>> d = pickle.load(f)
>>> f.close()
>>> d
{'age': 20, 'score': 88, 'name': 'Bob'}

变量的内容又回来了!

当然,这个变量和原来的变量是完全不相干的对象,它们只是内容相同而已。

Pickle的问题和所有其他编程语言特有的序列化问题一样,就是它只能用于Python,并且可能不同版本的Python彼此都不兼容,因此,只能用Pickle保存那些不重要的数据,不能成功地反序列化也没关系。

相关文章

  • Django用户认证系统如何实现自定义

    Django用户认证系统如何实现自定义

    这篇文章主要介绍了Django用户认证系统如何实现自定义,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-11-11
  • python基于机器学习预测股票交易信号

    python基于机器学习预测股票交易信号

    近年来,随着技术的发展,机器学习和深度学习在金融资产量化研究上的应用越来越广泛和深入。目前,大量数据科学家在Kaggle网站上发布了使用机器学习/深度学习模型对股票、期货、比特币等金融资产做预测和分析的文章。本文就来看看如何用python预测股票交易信号
    2021-05-05
  • 图文详解梯度下降算法的原理及Python实现

    图文详解梯度下降算法的原理及Python实现

    梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。本文将通过图文详解梯度下降算法的原理及实现,需要的可以参考一下
    2022-08-08
  • Python海龟绘图详解

    Python海龟绘图详解

    python2.6版本中后引入的一个简单的绘图工具,叫做海龟绘图(Turtle Graphics),出现在1966年的Logo计算机语言。海龟绘图(turtle库)是python的内部模块,使用前导入即可。本文就带大家深入了解一下海龟绘图,快来跟随小编一起学习吧
    2021-12-12
  • Python实现获取视频时长功能

    Python实现获取视频时长功能

    这篇文章主要介绍了Python如何实现获取视频时长功能,可以精确到毫秒。文中的示例代码简洁易懂,对我们的学习有一定的帮助,感兴趣的可以了解一下
    2021-12-12
  • Flask wtforms实现表单验证使用

    Flask wtforms实现表单验证使用

    本文主要介绍了Flask wtforms实现表单验证使用,文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2021-08-08
  • Python matplotlib绘制散点图配置(万能模板案例)

    Python matplotlib绘制散点图配置(万能模板案例)

    这篇文章主要介绍了Python matplotlib绘制散点图配置(万能模板案例),散点图是指在​ 回归分析​​​中,数据点在直角坐标系平面上的​分布图​​​,散点图表示因变量随​​自变量​​​而​变化​​​的大致趋势,据此可以选择合适的函数​​对数​​​据点进行​拟合
    2022-07-07
  • python实现定时播放mp3

    python实现定时播放mp3

    这篇文章主要介绍了python实现定时播放mp3,程序非常简单,功能很实用,主要是使用python实现了一首mp3歌每半小时播放一次,有需要的小伙伴可以参考下。
    2015-03-03
  • python游戏测试工具自动化遍历游戏中所有关卡

    python游戏测试工具自动化遍历游戏中所有关卡

    这篇文章主要为大家介绍了python游戏测试工具自动化遍历游戏中所有关卡示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-06-06
  • Pycharm学习教程(3) 代码运行调试

    Pycharm学习教程(3) 代码运行调试

    这篇文章主要为大家详细介绍了最全的Pycharm学习教程第三篇代码运行调试,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2017-05-05

最新评论