脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → Python3多线程爬虫

Python3多线程爬虫实例讲解代码

 更新时间：2018年01月05日 14:17:54   作者：pythontab  
本篇文章主要介绍了Python3多线程爬虫实例讲解代码，Python3使用threading模块来进行多线程，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧

多线程概述

多线程使得程序内部可以分出多个线程来做多件事情，充分利用CPU空闲时间，提升处理效率。python提供了两个模块来实现多线程thread 和threading ，thread 有一些缺点，在threading 得到了弥补。并且在Python3中废弃了thread模块，保留了更强大的threading模块。

使用场景

在python的原始解释器CPython中存在着GIL（Global Interpreter Lock，全局解释器锁），因此在解释执行python代码时，会产生互斥锁来限制线程对共享资源的访问，直到解释器遇到I/O操作或者操作次数达到一定数目时才会释放GIL。所以，虽然CPython的线程库直接封装了系统的原生线程，但CPython整体作为一个进程，同一时间只会有一个获得GIL的线程在跑，其他线程则处于等待状态。这就造成了即使在多核CPU中，多线程也只是做着分时切换而已。

如果你的程序是CPU密集型，多个线程的代码很有可能是线性执行的。所以这种情况下多线程是鸡肋，效率可能还不如单线程因为有上下文切换开销。但是如果你的代码是IO密集型，涉及到网络、磁盘IO的任务都是IO密集型任务，多线程可以明显提高效率，例如多线程爬虫，多线程文件处理等等

多线程爬虫

多线程爬虫的代码实例

注： 以下代码在python3下运行通过， python2版本差异较大，不能运行成功，如需帮助请下方留意。

# coding=utf-8
import threading, queue, time, urllib
from urllib import request
baseUrl = 'http://www.pythontab.com/html/pythonjichu/'
urlQueue = queue.Queue()
for i in range(2, 10):
 url = baseUrl + str(i) + '.html'
 urlQueue.put(url)
 #print(url)
def fetchUrl(urlQueue):
 while True:
  try:
   #不阻塞的读取队列数据
   url = urlQueue.get_nowait()
   i = urlQueue.qsize()
  except Exception as e:
   break
  print ('Current Thread Name %s, Url: %s ' % (threading.currentThread().name, url))
  try:
   response = urllib.request.urlopen(url)
   responseCode = response.getcode()
  except Exception as e:
   continue
  if responseCode == 200:
   #抓取内容的数据处理可以放到这里
   #为了突出效果， 设置延时
   time.sleep(1)
if __name__ == '__main__':
 startTime = time.time()
 threads = []
 # 可以调节线程数， 进而控制抓取速度
 threadNum = 4
 for i in range(0, threadNum):
  t = threading.Thread(target=fetchUrl, args=(urlQueue,))
  threads.append(t)
 for t in threads:
  t.start()
 for t in threads:
  #多线程多join的情况下，依次执行各线程的join方法, 这样可以确保主线程最后退出， 且各个线程间没有阻塞
  t.join()
 endTime = time.time()
 print ('Done, Time cost: %s ' % (endTime - startTime))

运行结果：

1个线程时：

Current Thread Name Thread-1, Url: http://www.pythontab.com/html/pythonjichu/2.html 
Current Thread Name Thread-1, Url: http://www.pythontab.com/html/pythonjichu/3.html 
Current Thread Name Thread-1, Url: http://www.pythontab.com/html/pythonjichu/4.html 
Current Thread Name Thread-1, Url: http://www.pythontab.com/html/pythonjichu/5.html 
Current Thread Name Thread-1, Url: http://www.pythontab.com/html/pythonjichu/6.html 
Current Thread Name Thread-1, Url: http://www.pythontab.com/html/pythonjichu/7.html 
Current Thread Name Thread-1, Url: http://www.pythontab.com/html/pythonjichu/8.html 
Current Thread Name Thread-1, Url: http://www.pythontab.com/html/pythonjichu/9.html 
Done, Time cost: 8.182249069213867

2个线程时：

Current Thread Name Thread-1, Url: http://www.pythontab.com/html/pythonjichu/2.html 
Current Thread Name Thread-2, Url: http://www.pythontab.com/html/pythonjichu/3.html 
Current Thread Name Thread-2, Url: http://www.pythontab.com/html/pythonjichu/4.html 
Current Thread Name Thread-1, Url: http://www.pythontab.com/html/pythonjichu/5.html 
Current Thread Name Thread-2, Url: http://www.pythontab.com/html/pythonjichu/6.html 
Current Thread Name Thread-1, Url: http://www.pythontab.com/html/pythonjichu/7.html 
Current Thread Name Thread-2, Url: http://www.pythontab.com/html/pythonjichu/8.html 
Current Thread Name Thread-1, Url: http://www.pythontab.com/html/pythonjichu/9.html 
Done, Time cost: 4.0987958908081055

3个线程时：

Current Thread Name Thread-1, Url: http://www.pythontab.com/html/pythonjichu/2.html 
Current Thread Name Thread-2, Url: http://www.pythontab.com/html/pythonjichu/3.html 
Current Thread Name Thread-3, Url: http://www.pythontab.com/html/pythonjichu/4.html 
Current Thread Name Thread-4, Url: http://www.pythontab.com/html/pythonjichu/5.html 
Current Thread Name Thread-2, Url: http://www.pythontab.com/html/pythonjichu/6.html 
Current Thread Name Thread-4, Url: http://www.pythontab.com/html/pythonjichu/7.html 
Current Thread Name Thread-1, Url: http://www.pythontab.com/html/pythonjichu/9.html 
Current Thread Name Thread-3, Url: http://www.pythontab.com/html/pythonjichu/8.html 
Done, Time cost: 2.287320137023926

通过调节线程数可以看到，执行时间会随着线程数的增加而缩短，抓取效率成正比增加。

总结：

Python多线程在IO密集型任务，多线程可以明显提高效率，CPU密集型任务不适合使用多线程处理。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

相关文章

  • FP-growth算法发现频繁项集——发现频繁项集

    FP-growth算法发现频繁项集——发现频繁项集

    常见的挖掘频繁项集算法有两类，一类是Apriori算法，另一类是FP-growth。Apriori通过不断的构造候选集、筛选候选集挖掘出频繁项集，需要多次扫描原始数据，当原始数据较大时，磁盘I/O次数太多，效率比较低下
    2021-06-06
  • Matplotlib实战之面积图绘制详解

    Matplotlib实战之面积图绘制详解

    面积图，或称区域图，是一种随有序变量的变化，反映数值变化的统计图表，这篇文章主要介绍了如何利用Matplotlib实现面积图的绘制，需要的可以参考下
    2023-08-08
  • Python HTMLTestRunner测试报告view按钮失效解决方案

    Python HTMLTestRunner测试报告view按钮失效解决方案

    这篇文章主要介绍了Python HTMLTestRunner测试报告view按钮失效解决方案,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-05-05
  • 根据DataFrame某一列的值来选择具体的某一行方法

    根据DataFrame某一列的值来选择具体的某一行方法

    今天小编就为大家分享一篇根据DataFrame某一列的值来选择具体的某一行方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2018-07-07
  • jupyter notebook中图片显示不出来的解决

    jupyter notebook中图片显示不出来的解决

    这篇文章主要介绍了jupyter notebook中图片显示不出来的解决操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2021-03-03
  • python中protobuf和json互相转换应用处理方法

    python中protobuf和json互相转换应用处理方法

    protobuf目前有proto2和proto3两个版本，本文所介绍的是基于proto3，在Python 3.6.9环境下运行，本文记录一下python中protobuf和json的相互转换的处理方法，感兴趣的朋友跟随小编一起看看吧
    2022-12-12
  • python实现PID算法及测试的例子

    python实现PID算法及测试的例子

    今天小编就为大家分享一篇python实现PID算法及测试的例子，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2019-08-08
  • 一文带你探寻Python中的迭代器

    一文带你探寻Python中的迭代器

    你知道for...in是底层原理是什么样的么？这篇文章就来和大家详细讲一讲Python中迭代器的的相关知识，文中的示例代码讲解详细，感兴趣的可以了解一下
    2023-04-04
  • Python安装Gradio和常见安装问题解决办法

    Python安装Gradio和常见安装问题解决办法

    Gradio是一款便捷的Python库,专门用于创建机器学习模型的Web应用,安装通常简单,但偶尔会遇到依赖问题或环境配置错误,这篇文章主要介绍了Python安装Gradio和常见安装问题解决办法,需要的朋友可以参考下
    2024-10-10
  • python glom模块的使用简介

    python glom模块的使用简介

    这篇文章主要介绍了python glom模块的使用简介，帮助大家更好的利用python处理数据，感兴趣的朋友可以了解下
    2021-04-04

最新评论