脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → 用Protocol Buffers的C拓展提速Python程序

使用Protocol Buffers的C语言拓展提速Python程序的示例

 更新时间：2015年04月16日 17:05:35   投稿：goldensun  
这篇文章主要介绍了使用Protocol Buffers的C语言拓展提速Python程序的示例,使用C拓展Python是Python编程进阶中的重要技巧,需要的朋友可以参考下

 Protocol Buffers （类似XML的一种数据描述语言）最新版本2.3里，protoc—py_out命令只生成原生的Python代码。 尽管PB（Protocol Buffers）可以为C++语言生成快速解析和序列化代码，但是这种方式对于Python不适用，并且手动生成的已包装的代码需要非常大的维护工作。在讨论组里，这是一个常见的功能要求，由于一个必备的客户端组件—AppEngine（根据团队介绍名称为AppEngine），生成原生的Python代码有更高的优先级。

幸运的是， PB 2.4版本中本地化代码已被提名，在 svn的分支中已经可以下载，因此你能够使用快速的 PB有一段时间了。 （我们使用 r352版本有一段时间了，还没有遇到任何问题。） PB团队一直不愿轻易指定任何发布日期，在我的威胁下， Kenton Varda提到日期初步定在 2011年初。


我没有在其它地方看见过这个文档，希望它能对其他人有所帮助.

如何做能让它快起来

安装好新的PB库之后并使用 protoc --py_out=...  重新构建好你的PB之后，你需要在运行你的Python程序之前进行环境变量 PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATION=cpp 的设置，以便于选择C++的，或者PB默认使用的Python实现.

就这样了！这至少就能在可以动态转化/序列化消息的PB运行时库用通用的C++代码了. (注意我们还没有生成任何C++代码.)

它能有多快呢? 我编写了一个简单的程序来获得性能在我们的应用程序中的提升感观:
 

nruns = 1000nwarmups = 100xs = ... # your protobufsdef ser(): return [x.SerializeToString() for x in xs]def parse(ys): for y in ys: pb.Email().ParseFromString(y)
 
t = timeit.Timer(lambda:None)
t.timeit(nwarmups)print 'noop:', t.timeit(nruns) / nruns
 
t = timeit.Timer(ser)
t.timeit(nwarmups)print 'ser:', t.timeit(nruns) / nruns / len(xs)
 
ys = ser()
t = timeit.Timer(lambda: parse(ys))
t.timeit(nwarmups)print 'parse:', t.timeit(nruns) / nruns / len(xs)print 'msg size:', sum(len(y) for y in ys) / len(ys)

以秒为单位，这段程序在我的桌面上给出了如下几个时间结果:
 

$ python sandbox/pbbench.py out.ini
ser: 0.000434461673101
parse: 0.000602062404156
msg size: 10730
 
$ PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATION=cpp \
> python sandbox/pbbench.py out.ini
ser: 2.86788344383e-05
parse: 7.63910810153e-05
msg size: 10730

这显示出在序列化和转化方面分别有15和8被的速度提升。不坏！但还可以更快.

如何做让它更快

现在我们实际上只是特地针对你的PB生成了一个C++实现，而我们从来没有使用过运行时反射。首先，为你的Python项目添加一个C扩展，不如，通过修改如下的 setup.py:
 

setup(
  ...
  ext_modules=[Extension('podpb',
sources=['cpp/podpb.c','cpp/main.pb.cc'], libraries=['protobuf'])],
  ...
  )

使用 protoc --cpp_out=cpp 生成main.pb.c, 并按如下所示创建 podpb.c 来设置一个空的 Python C 模块:
 

#include <Python.h>
 
static PyMethodDef PodMethods[] = {
 {NULL, NULL, 0, NULL}    /* Sentinel */};
 
PyMODINIT_FUNC
initpodpb(void)
{
 PyObject *m;
 
 m = Py_InitModule("podpb", PodMethods); if (m == NULL)  return;
}

现在就运行 python setup.py build 命令会构建所有的东西. 只要将C模块（在这里是podpb）导入到你的项目中，PB 运行时库就将会自动使用 C++ 实现了.

现在我们就分别有了68倍x 和 13倍 的速度提升. 吼吼.
 

$ PYTHONPATH=build/lib.linux-x86_64-2.6/:$PYTHONPATH \
> PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATION=cpp \
> python sandbox/pbbench.py out.ini
ser: 6.39575719833e-06
parse: 4.55250144005e-05
msg size: 10730


我这篇文章发布到很多地方，大事完全忘了它的存在。同时 connex.io 和 Greplin 发布了他们的原生的 Python实现，cypb和fast-python-pb。cypb在PB的邮件列表中公布过，可以运行，但仍需要提升到可用的状态。fast-python-pb目前只支持string int32, int64 双精度浮点和子消息成员。除了这些项目，其他的我都不了解。你也可以查看我的orginal thread PB邮列表来了解到这些。

您可能感兴趣的文章:

相关文章

  • python使用7z解压apk包的方法

    python使用7z解压apk包的方法

    这篇文章主要介绍了python使用7z解压apk包的方法,涉及Python的shell命令调用技巧,非常具有实用价值,需要的朋友可以参考下
    2015-04-04
  • 浅析Python 读取图像文件的性能对比

    浅析Python 读取图像文件的性能对比

    这篇文章主要介绍了浅析Python 读取图像文件的性能对比，主要介绍了3种性能对比方法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2019-03-03
  • Python最好的日期处理库pendulum的使用指南

    Python最好的日期处理库pendulum的使用指南

    关于日期处理，Python 提供了很多的库，比如标准库 datetime、第三方库 dateutil、arrow 等等。本文将为大家介绍一个小编最喜欢的库 pendulum，用起来可以说非常的方便，任何对日期的操作它都能满足
    2022-07-07
  • 总结python 三种常见的内存泄漏场景

    总结python 三种常见的内存泄漏场景

    这篇文章主要介绍了总结python 三种常见的内存泄漏场景，帮助大家更好的理解和使用python，感兴趣的朋友可以了解下
    2020-11-11
  • python绘制直方图和密度图的实例

    python绘制直方图和密度图的实例

    今天小编就为大家分享一篇python绘制直方图和密度图的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2019-07-07
  • 如何在Python中导入EXCEL数据

    如何在Python中导入EXCEL数据

    这篇文章主要介绍了使用Python处理EXCEL基础操作篇1,如何在Python中导入EXCEL数据,文中提供了解决思路和部分实现代码，一起来看看吧
    2023-03-03
  • python+pillow绘制矩阵盖尔圆简单实例

    python+pillow绘制矩阵盖尔圆简单实例

    这篇文章主要介绍了Python+pillow绘制矩阵盖尔圆简单实例，具有一定借鉴价值,需要的朋友可以参考下
    2018-01-01
  • Python 在OpenCV里实现仿射变换—坐标变换效果

    Python 在OpenCV里实现仿射变换—坐标变换效果

    这篇文章主要介绍了Python 在OpenCV里实现仿射变换—坐标变换效果，本文通过一个例子给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-08-08
  • 使用python构建一个自己的聊天室

    使用python构建一个自己的聊天室

    这篇文章主要介绍了使用python构建一个自己的聊天室,有助于帮助小伙伴们理解掌握Python的socket编程,需要的朋友可以参考下
    2023-04-04
  • numpy.float32的典型用法

    numpy.float32的典型用法

    本文主要介绍了numpy.float32的典型用法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2023-04-04

最新评论