Pyhton多线程采集图片方式

 更新时间:2023年12月01日 09:08:05   作者:三省同学  
这篇文章主要介绍了Pyhton多线程采集图片方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教

前言

需要大量图片做数据采集是,这个时候就需要用到python获取图片,本篇以python多线程获取图片为例。

一、查看页面元素

查看页面源代码。

二、请求url查看

通过F12查看请求url。

tn: resultjson_com
logid: 12339447258259285711
ipn: rj
ct: 201326592
is: 
fp: result
fr: 
word: 动漫图片
queryWord: 动漫图片
cl: 2
lm: -1
ie: utf-8
oe: utf-8
adpicid: 
st: -1
z: 
ic: 
hd: 
latest: 
copyright: 
s: 
se: 
tab: 
width: 
height: 
face: 0
istype: 2
qc: 
nc: 1
expermode: 
nojc: 
isAsync: 
pn: 60
rn: 30
gsm: 3c
1669373933133: 

代码实现

# -*- coding: utf-8 -*-
import os
import re
import time
from multiprocessing import Pool
import requests
from multiprocessing.dummy import Pool as ThreadPool  # 线程池


def get_image(keyword, page_num, save_dir):
    # 浏览器伪装
    header = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'}
    # 请求url
    url = 'https://image.baidu.com/search/acjson?'
    n = 0;
    pn = 1  # pn是从第几张图片开始
    page_num = page_num + 1;
    for m in range(1, page_num):
        # 请求参数
        param = {'tn': 'resultjson_com',
                 'ipn': 'rj',
                 'ct': 201326592,
                 'is': '',
                 'fp': 'result',
                 'queryWord': keyword,
                 'cl': 2,
                 'lm': -1,
                 'ie': 'utf-8',
                 'oe': 'utf-8',
                 'adpicid': '',
                 'st': -1,
                 'z': '',
                 'ic': '',
                 'hd': 1,
                 'latest': '',
                 'copyright': '',
                 'word': keyword,
                 's': '',
                 'se': '',
                 'tab': '',
                 'width': '',
                 'height': '',
                 'face': 0,
                 'istype': 2,
                 'qc': '',
                 'nc': '1',
                 'fr': '',
                 'expermode': '',
                 'force': '',
                 'cg': '',
                 'pn': pn,
                 'rn': '30',
                 'gsm': '1e',
                 '1669373933133': ' '
                 }
        request = requests.get(url=url, headers=header, params=param)
        if request.status_code == 200:
            print('success.')
        request.encoding = 'utf-8'
        html = request.text
        image_url_list = re.findall('"thumbURL":"(.*?)",', html, re.S)
        if not os.path.exists(save_dir):
            os.makedirs(save_dir)

        for image_url in image_url_list:
            image_data = requests.get(url=image_url, headers=header).content
            # with open(os.path.join(save_dir, "{}_{:06d}.jpg".format("1", n)), 'wb') as fp:
            #     fp.write(image_data)
            pool.apply_async(download, args=(n, image_data, save_dir), error_callback=func.err_call_back)
            n = n + 1
        pn += 29

class Func(object):
    def __init__(self):
        # 利用匿名函数模拟一个不可序列化象
        # 更常见的错误写法是,在这里初始化一个数据库的长链接
        self.num = lambda: None

    def work(self, num=None):
        self.num = num
        return self.num

    @staticmethod
    def call_back(res):
        print('Hello,World! {res}')

    @staticmethod
    def err_call_back(err):
        print('出错啦:[{}]'.format(err))


def download(n, image_data, save_dir):
    # time.sleep(1)
    fp = open(os.path.join(save_dir, "{}_{:06d}.jpg".format("1", n)), 'wb')
    fp.write(image_data)
    fp.close()


if __name__ == '__main__':
    func = Func()
    keyword = '动漫图片'
    save_dir = keyword
    page_num = int(input("页数:"))
    # 线程池中线程数
    pool = Pool(10)
    # pool = ThreadPool(5)
    # i = 0;
    # while i < page_num:
    get_image(keyword, page_num, save_dir)
        # i = i + 1
    print('完成')

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Python编程super应用场景及示例解析

    Python编程super应用场景及示例解析

    最近有粉丝向我咨询super相关的问题,说网上搜索到的教程不够通俗易懂,看了之后还是不太理解。所以在这里基于我自己的理解来讲解一下super
    2021-10-10
  • Python itertools模块详解

    Python itertools模块详解

    这篇文章主要介绍了Python itertools模块详解,本文基本是基于文档的翻译和补充,相当于翻译了,需要的朋友可以参考下
    2015-05-05
  • 通过cmd进入python的实例操作

    通过cmd进入python的实例操作

    在本篇内容中小编给大家分享了关于通过cmd怎么进入python的实例操作方法和步骤,有需要的朋友们可以参考下。
    2019-06-06
  • python打包为linux可执行文件的详细图文教程

    python打包为linux可执行文件的详细图文教程

    这篇文章主要给大家介绍了关于python打包为linux可执行文件的详细图文教程,本文介绍的方法可以轻松地将Python代码变成独立的可执行文件,需要的朋友可以参考下
    2024-02-02
  • python中的空值判断和空字符串判断方式

    python中的空值判断和空字符串判断方式

    这篇文章主要介绍了python中的空值判断和空字符串判断方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-11-11
  • Python+Pygame实现海洋之神大冒险游戏

    Python+Pygame实现海洋之神大冒险游戏

    这篇文章主要介绍了如何利用Python+Pygame自制一个海洋之神大冒险游戏。规则是在海里收集鱼骨头,有些鱼骨头可以转化为武器,用来攻击敌人,感兴趣的可以了解一下
    2022-08-08
  • Python实现批量转换文件编码的方法

    Python实现批量转换文件编码的方法

    这篇文章主要介绍了Python实现批量转换文件编码的方法,涉及Python针对文件的遍历及编码转换实现技巧,具有一定参考借鉴价值,需要的朋友可以参考下
    2015-07-07
  • Python正则表达式教程之一:基础篇

    Python正则表达式教程之一:基础篇

    正则表达式并不是Python的一部分。正则表达式是用于处理字符串的强大工具,拥有自己独特的语法以及一个独立的处理引擎,效率上可能不如str自带的方法,但功能十分强大。下面这篇文章主要介绍了关于Python正则表达式基础的相关资料,需要的朋友可以参考下。
    2017-03-03
  • python 邮件检测工具mmpi的使用

    python 邮件检测工具mmpi的使用

    这篇文章主要介绍了python 用mmpi库实现邮件检测的方法,帮助大家更好的理解和使用python,感兴趣的朋友可以了解下
    2021-01-01
  • Python 中使用 PyMySQL模块操作数据库的方法

    Python 中使用 PyMySQL模块操作数据库的方法

    这篇文章主要介绍了Python 中使用 PyMySQL模块操作数据库的方法,非常不错,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-11-11

最新评论