kafka-python批量发送数据的实例
更新时间：2018年12月27日 10:12:47 作者：rongyongfeikai2
今天小编就为大家分享一篇kafka-python批量发送数据的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
如下所示：
from kafka import KafkaClient from kafka.producer import SimpleProducer
def send_data_2_kafka(datas):
'''
向kafka解析队列发送数据
'''
client = KafkaClient(hosts=KAFKABROKER.split(","), timeout=30)
producer = SimpleProducer(client, async=False)
curcount = len(datas)/PARTNUM
for i in range(0, PARTNUM):
start = i*curcount
if i != PARTNUM - 1:
end = (i+1)*curcount
curdata = datas[start:end]
producer.send_messages(TOPICNAME, *curdata)
else:
curdata = datas[start:]
producer.send_messages(TOPICNAME, *curdata)
producer.stop()
client.close()
其中PARTNUM为topic的partition的数目，这样保证批量发送的数据均匀的落在kafka的partition中。
以上这篇kafka-python批量发送数据的实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
Python3多进程 multiprocessing 模块实例详解
这篇文章主要介绍了Python3多进程 multiprocessing 模块,结合实例形式详细分析了Python3多进程 multiprocessing 模块的概念、原理、相关方法使用技巧与注意事项,需要的朋友可以参考下2018-06-06
Google开源的一个序列化框架，类似于xml ， json。最大的特点是基于 二进制，比传统的xml表示同样的内容要短小很多。亦可定义一些可选字段，用于服务端与客户端通信2021-08-08
Python实现将通信达.day文件读取为DataFrame
今天小编就为大家分享一篇Python实现将通信达.day文件读取为DataFrame，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-12-12
在本篇文章里小编给各位分享的是一篇关于Python3爬虫带上cookie的实例代码内容，需要的朋友们可以学习下。2020-07-07
这篇文章主要给大家介绍了关于如何利用python实现你说我猜游戏的相关资料,用到的都是一些简单的基础的python语句,适合刚入门的小白,可以尝试跟着一起敲一下,感受一下编程中的乐趣,需要的朋友可以参考下2022-05-05
本文给大家分享利用python3爬虫爬取漫画岛-非人哉漫画，本文通过实例代码给大家介绍的非常详细，需要的朋友跟随小编一起学习下吧2021-07-07
这篇文章主要介绍了Python远程视频监控程序的实例代码,需要的朋友可以参考下2019-05-05
今天小编就为大家分享一篇python实现写数字文件名的递增保存文件方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-10-10
今天小编就为大家分享一篇pycharm: 恢复(reset) 误删文件的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-10-10
这篇文章主要介绍了关于fastapi异步框架的操作,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-06-06
最新评论