python3爬虫中引用Queue的实例讲解
更新时间：2020年11月24日 14:25:54 作者：小妮浅浅
在本篇内容里小编给大家整理的是一篇关于python3爬虫中引用Queue的实例讲解内容，有兴趣的朋友们可以学习下。
我们去一个受欢迎的地方买东西，难免会需要排队等待。如果有多个窗口的话，就会有不同队列的产生，当然每个队伍的人数也会出现参差不齐的现象。我们今天所要说的Queue就可以理解成生活中的排队现象。那么结合我们所要用的爬虫知识，应该怎么在Queue中应用呢？接下来就开始今天的内容学习：
队列这种东西大家应该都知道，就是一个先进先出的数据结构，而Python的标准库中提供了一个线程安全的队列，也就是说该模块是适用于多线程编程的先进先出（first-in,first-out，FIFO）数据结构，可以用来在生产者消费者线程之间安全地传递消息或其他数据。它会为调用者处理锁定，使用多个线程可以安全地处理同一个 Queue 实例。Queue 的大小（其中包含的元素个数）可能要受限，以限制内存使用或处理。
在Python 3中要引入Queue和Python 2中引入Queue是不同，引入方式如下：
#python 2 import Queue # python 3 from queue import Queue
因为是线程安全的，很自然就可以利用Queue来实现一个多线程爬虫咯，而Queue的一些常见操作如下：
# 实例化一个队列，可以在指定队列大小
q = Queue.Queue()
q_50 = Queue.Queue(50) # 指定一个长度为50的队列
# 入队一个数据data
q.put(data)
# 出队并赋值给item
item = q.get()
# 判断队列是否为空，是否满
if q.empty()：
print('队列为空')
if q.full():
print('队列满')
另外，除了普通队列，标准库中还有优先队列和后进先出队列这两个队列，分别为LifoQueue和PriorityQueue，其引用方式与Queue类似。
到此这篇关于python3爬虫中引用Queue的实例讲解的文章就介绍到这了,更多相关python3爬虫中如何引用Queue案例内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
今天小编就为大家分享一篇在CMD命令行中运行python脚本的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-05-05
websocket是一个浏览器和服务器通信的新的协议，websocket则和一般的socket一样，使得浏览器和服务器建立了一个双工的通道。今天我们就来详细探讨下使用Python实现websocket服务器的具体方法2016-11-11
Python3 循环语句(for、while、break、range等)
这篇文章主要介绍了Python3 循环语句(for、while、break、range等)，大家把下面的文章看完就基本上就可以了解了python的循环实现方式了2017-11-11
这篇文章主要介绍了用Python处理Args的3种方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-03-03
这篇文章主要为大家详细介绍了Pycharm及Python安装图文教程，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-03-03
这篇文章主要介绍了Python实现查找二叉搜索树第k大的节点功能,结合实例形式分析了Python二叉搜索树的定义、查找、遍历等相关操作技巧,需要的朋友可以参考下2019-01-01
这篇文章主要介绍了Python网站验证码识别的相关资料,需要的朋友可以参考下2016-01-01
这篇文章主要为大家介绍了python爬虫MeterSphere平台执行报告使用进阶示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-12-12
这篇文章主要为大家详细介绍了如何利用Python实现身份证前六位地区码对照表文件，文中的示例代码讲解详细，感兴趣的可以了解一下2022-12-12
这篇文章主要介绍了详解 Python中LEGB和闭包及装饰器的相关资料,主要介绍了函数作用域和闭包的理解和使用方法及Python中的装饰器，需要的朋友可以参考下2017-08-08
最新评论