脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → Python爬虫爬取商品失败

Python爬虫爬取商品失败处理方法

 更新时间：2021年08月05日 08:28:56   作者：py  
在本篇文章里小编给大家整理了一篇关于Python爬虫爬取商品失败处理方法，有兴趣的朋友们可以学习参考下。

1.登陆网站，开启开发者模式。

可以在浏览器中点击右键检查或者F12打开开发者模式。

2.点选 NetWork，DOC，然后刷新页面。

在 network 中选择 doc，在请求的 headers 中搜索 cookie。

3.获取对应的 cookie 以及 user-agent。

4.在代码中添加到 headers 里面。

def getHTMLText(url):
  kv = {
    'cookie': 'adsgadfafegadsgadsfaefasdfaewfadsfag'
    'uaer-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'
  }
    try:
    r = requests.get(url, headers=kv, timeout=30)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    return r.text
  except:
    return "gg"

实例扩展：

程序的结构设计

  1. 提交商品搜索请求，循环获取页面
  2. 对于每个页面，提取商品名称和价格信息
  3. 将信息输出

遇到问题

爬取成功，数据有问题

打印 html 文件，返回如下

<script type="text/javascript">
  TRLang = {
    ERROR_NICK_BLANK: "请填写账户名",
    ERROR_PASSWORD_BLANK: "请输入密码",
    ERROR_NICK_PASSWORD_BLANK: "请输入账户名和密码",
    ERROR_CHECKCODE_BLANK: "请输入验证码",
    TIPS_REMEMBER_PASSWORD: "记住密码",
    TIPS_NOT_REMEMBER_PSW_ON_PUBLIC: "不要在公共计算机记住密码，防止账户被盗"
  };
</script>

到此这篇关于Python爬虫爬取商品失败处理方法的文章就介绍到这了,更多相关Python爬虫爬取商品失败内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

相关文章

  • 新版selenium4.0 + Python使用详解

    新版selenium4.0 + Python使用详解

    本文主要介绍了新版selenium4.0 + Python使用详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2022-07-07
  • python删除列表元素del,pop(),remove()及clear()

    python删除列表元素del,pop(),remove()及clear()

    这篇文章主要介绍了python删除列表元素del,pop(),remove()及clear()，列表元素能增加就可以删除，这里要给大家介绍的是删除列表元素，具有一定的参考价值，需要的小伙伴可以参考一下
    2022-03-03
  • Python OpenCV机器学习之图像识别详解

    Python OpenCV机器学习之图像识别详解

    OpenCV中也提供了一些机器学习的方法，例如DNN等。本文将为大家详细介绍一下OpenCV中利用机器学习实现的一些图片识别功能：人脸识别、车牌识别等，感兴趣的可以了解一下
    2022-01-01
  • pycharm安装和首次使用教程

    pycharm安装和首次使用教程

    这篇文章主要为大家详细介绍了PyCharm安装使用教程，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2018-08-08
  • Python构造函数与析构函数超详细分析

    Python构造函数与析构函数超详细分析

    在python之中定义一个类的时候会在类中创建一个名为__init__的函数，这个函数就叫做构造函数。它的作用就是在实例化类的时候去自动的定义一些属性和方法的值，而析构函数恰恰是一个和它相反的函数，这篇文章主要介绍了Python构造函数与析构函数
    2022-11-11
  • Python如何读写CSV文件

    Python如何读写CSV文件

    这篇文章主要介绍了Python如何读写CSV文件，帮助大家更好的理解和学习python，感兴趣的朋友可以了解下
    2020-08-08
  • python是否适合网页编程详解

    python是否适合网页编程详解

    在本篇文章里我们给各位整理了一篇关于python是否适合网页编程详解内容，有需要的朋友们可以学习下。
    2019-10-10
  • 关于tensorflow的几种参数初始化方法小结

    关于tensorflow的几种参数初始化方法小结

    今天小编就为大家分享一篇关于tensorflow的几种参数初始化方法小结，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-01-01
  • Python实现批量修改图片格式和大小的方法【opencv库与PIL库】

    Python实现批量修改图片格式和大小的方法【opencv库与PIL库】

    这篇文章主要介绍了Python实现批量修改图片格式和大小的方法,结合实例形式分析了Python基于opencv库与PIL库针对图片的读写、转换相关操作技巧,需要的朋友可以参考下
    2018-12-12
  • python jupyter入门教程

    python jupyter入门教程

    Jupyter Notebook是一个开源的Web应用程序，允许用户创建和共享包含代码、方程式、可视化和文本的文档，今天通过本文给大家分享python jupyter入门教程，需要的朋友一起看看吧
    2021-08-08

最新评论