Python 线程池模块之多线程操作代码
更新时间：2021年05月20日 10:37:37 作者：简简单单OnlineZuozuo
最近在做一个爬虫相关的项目，单线程的整站爬虫，耗时真的不是一般的巨大，运行一次也是心累，所以，要想实现整站爬虫，多线程是不可避免的，那么python多线程又应该怎样实现呢？今天小编给大家分享下实现代码，感兴趣的朋友一起看看吧
1、线程池模块
引入
from concurrent.futures import ThreadPoolExecutor
2、使用线程池
一个简单的线程池使用案例
from concurrent.futures import ThreadPoolExecutor
import time
pool = ThreadPoolExecutor(10, 'Python')
def fun():
time.sleep(1)
print(1, end='')
if __name__ == '__main__':
# 列表推导式
[pool.submit(fun) for i in range(20) if True]
from concurrent.futures import ThreadPoolExecutor
import time
pool = ThreadPoolExecutor(10, 'Python')
def fun(arg1,arg2):
time.sleep(1)
print(arg1, end=' ')
print(arg2, end=' ')
if __name__ == '__main__':
# 列表推导式
[pool.submit(fun,i,i) for i in range(20) if True]
# 单个线程的执行
task = pool.submit(fun,'Hello','world')
# 判断任务执行状态
print(f'task status {task.done()}')
time.sleep(4)
print(f'task status {task.done()}')
# 获取结果的函数是阻塞的，所以他会等线程结束之后才会输出
print(task.result())
3、获取结果
阻塞等待
print(task.result())
批量获取结果
for future in as_completed(all_task):
data = future.result()
阻塞主线程，等待执行结束再执行下一个业务
# 等待线程全部执行完毕
wait(pool.submit(fun,1,2),return_when=ALL_COMPLETED)
print('')
以上就是Python 线程池模块之多线程操作代码的详细内容，更多关于Python 线程池模块的资料请关注脚本之家其它相关文章！
相关文章
Python3中编码与解码之Unicode与bytes的讲解
今天小编就为大家分享一篇关于Python3中编码与解码之Unicode与bytes的讲解，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧2019-02-02
今天小编就为大家分享一篇Pycharm运行加载文本出现错误的解决方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-06-06
这篇文章主要介绍了Python之tkinter文字区域Text使用及说明，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2023-05-05
这篇文章主要介绍了Python实现识别图片内容的方法,结合实例形式分析了tesseract模块的下载、安装配置及使用tesseract模块进行图片识别的相关操作技巧,需要的朋友可以参考下2018-07-07
这篇文章主要为大家介绍了python神经网络MobileNetV2模型的复现详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-05-05
这篇文章主要介绍了django框架auth模块用法,结合实例形式详细分析了Django框架auth模块登录验证、注销等基本操作技巧与使用注意事项,需要的朋友可以参考下2019-12-12
这篇文章主要介绍了pytorch使用horovod多gpu训练的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-09-09
Python使用shutil操作文件、subprocess运行子程序
这篇文章介绍了Python使用shutil操作文件、subprocess运行子程序的方法，文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2022-05-05
这篇文章主要介绍了Python中的OpenCV图像阈值处理和平滑处理详解,OpenCV是一个跨平台的计算机视觉库,可用于开发实时的图像处理、计算机视觉以及模式识别程序,需要的朋友可以参考下2023-08-08
这篇文章主要介绍了Django一小时写出账号密码管理系统，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-04-04
最新评论