基于python实现获取网页图片过程解析

 更新时间:2020年05月11日 10:18:57   作者:哈哈哈天蝎  
这篇文章主要介绍了基于python实现获取网页图片过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

环境:python3, 要安装bs4这个第三方库

获取请求头的方法

这里使用的是Chrome浏览器。

打开你想查询的网站,按F12,或者鼠标右键一下选择检查。会弹出如下的审查元素页面:

然后点击上方选项中的Network选项:

此时在按Ctrl+R:

选择下方框中的第一个,单击:

选择Headers选项,其中就会有Request Headers,包括你需要的信息。

介绍:这个程序是用来批量获取网页的图片,用于新手入门

注意:由于是入门的程序在获取某些网页的图片时会出问题!!!!!

import os
import urllib.request
from bs4 import BeautifulSoup
# 网址
url = "http://www2017.tyut.edu.cn/"
# 建立请求对象
request = urllib.request.Request(url)
# 加入请求头(一定要换成自己的!!!!)
request.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36')
# 获取请求
code = urllib.request.urlopen(request)
# 得到html代码
html = code.read().decode('utf-8')
# 将html的标签转成对象(方便后面的操作)
bs = BeautifulSoup(html, 'html.parser')
# 提取所有的img标签
imagesUrl = bs.find_all('img')
sources = []
# 建立存放的路径(路径一定要存在!!!!!!)
filepath = os.getcwd() + '\\images\\'
def createFile(path: str, fpath):
  urllib.request.urlretrieve(path, fpath)
# 获取图片的路径(网址+img标签的src属性的值)
for img in imagesUrl:
  sources.append(url + str(img.get('src')))
for src in sources:
  # 用split是防止请求带参
  baseName = os.path.basename(src).split('?')
  # 图片名
  fileName = filepath + baseName[0]
  print("url=" + src, "filename=" + fileName)
  createFile(src, fileName)
print('这次您一共下载了图片' + str(len(sources)) + '张')

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

相关文章

  • Python使用Asyncio实现检查网站状态

    Python使用Asyncio实现检查网站状态

    这篇文章主要为大家详细介绍了Python如何使用Asyncio实现检查网站状态,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下
    2023-03-03
  • Python三级目录展示的实现方法

    Python三级目录展示的实现方法

    这篇文章主要介绍了Python三级目录展示的实现方法的相关资料,本文通过图文并茂的方式给大家介绍,非常不错,具有参考借鉴价值,需要的朋友可以参考下
    2016-09-09
  • 关于python3.7安装matplotlib始终无法成功的问题的解决

    关于python3.7安装matplotlib始终无法成功的问题的解决

    这篇文章主要介绍了关于python3.7安装matplotlib始终无法成功的问题的解决,文中通过图文介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-07-07
  • python数组和矩阵的用法解读

    python数组和矩阵的用法解读

    这篇文章主要介绍了python数组和矩阵的用法,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2023-05-05
  • 详解Python核心对象类型字符串

    详解Python核心对象类型字符串

    本篇文章通过理论知识点给大家讲述了Python核心对象类型字符串的相关知识内容,对此有兴趣的一起学习下。
    2018-02-02
  • Python 中判断列表是否为空的方法

    Python 中判断列表是否为空的方法

    这篇文章主要介绍了Python 中判断列表是否为空的方法,本文通过代码详解的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-11-11
  • python tkinter实现下载进度条及抖音视频去水印原理

    python tkinter实现下载进度条及抖音视频去水印原理

    这篇文章主要介绍了python tkinter实现下载进度条及抖音视频去水印原理,帮助大家更好的利用python,感兴趣的朋友可以了解下
    2021-02-02
  • python使用jieba实现中文分词去停用词方法示例

    python使用jieba实现中文分词去停用词方法示例

    jieba分词,完全开源,有集成的python库,简单易用。下面这篇文章主要给大家介绍了关于python使用jieba实现中文分词去停用词的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考借鉴,下面来一起看看吧。
    2018-03-03
  • 提升Python编程效率的列表操作方法示例

    提升Python编程效率的列表操作方法示例

    这篇文章主要为大家介绍了提升Python编程效率的列表操作方法示例,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-10-10
  • python读取word文档的方法

    python读取word文档的方法

    这篇文章主要介绍了python读取word文档的方法,实例分析了Python基于win32com操作word文档的相关技巧,需要的朋友可以参考下
    2015-05-05

最新评论