脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → requests.gPython 用requests.get获取网页内容为空 ’ ’

requests.gPython 用requests.get获取网页内容为空 ’ ’问题

 更新时间：2022年01月26日 09:09:29   作者：你隔壁的小王  
这篇文章主要介绍了requests.gPython 用requests.get获取网页内容为空 ’ ’，温行首先举例说明，具有一定得参考价值，需要的小伙伴可以参考一下

下面先来看一个例子：

import  requests
result=requests.get("http://data.10jqka.com.cn/financial/yjyg/")
result

输出结果：

 继续运行，发现返回空值，在请求网页爬取的时候，输出的text信息中会出现抱歉，无法访问等字眼，这就是禁止爬取，需要通过反爬机制去解决这个问题。headers是解决requests请求反爬的方法之一，相当于我们进去这个网页的服务器本身，假装自己本身在爬取数据。对反爬虫网页，可以设置一些headers信息，模拟成浏览器取访问网站 。

一、如何设置headers

拿两个常用的浏览器举例：

1、QQ浏览器

界面 F12 

 点击network 键入 CTRL+R

 单击第一个 最下边就是我门需要的 把他设置成headers解决问题

2、Miscrosft edge

二、微软自带浏览器

同样 F12 打开开发者工具

 点击网络，CTRL+R

 前文代码修改：

import requests
ur="http://data.10jqka.com.cn/financial/yjyg/"
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3880.400 QQBrowser/10.8.4554.400 '}
result = requests.get(ur, headers=headers)
result.text

成功解决不能爬取问题

到此这篇关于requests.gPython 用requests.get获取网页内容为空 ’ ’的文章就介绍到这了,更多相关requests.gPython 用requests.get获取网页内容为空 ’ ’内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

相关文章

  • 利用python读取YUV文件 转RGB 8bit/10bit通用

    利用python读取YUV文件 转RGB 8bit/10bit通用

    今天小编就为大家分享一篇利用python读取YUV文件 转RGB 8bit/10bit通用，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2019-12-12
  • Python实现桌面翻译工具【新手必学】

    Python实现桌面翻译工具【新手必学】

    这篇文章主要介绍了Python实现一个桌面翻译工具，本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下
    2020-02-02
  • Python中常见的数制转换有哪些

    Python中常见的数制转换有哪些

    在本篇文章里小编给大家整理的是一篇关于Python中常见的数制转换例举内容，有需要的朋友们可以跟着学习下。
    2020-05-05
  • Python实现的对本地host127.0.0.1主机进行扫描端口功能示例

    Python实现的对本地host127.0.0.1主机进行扫描端口功能示例

    这篇文章主要介绍了Python实现的对本地host127.0.0.1主机进行扫描端口功能,可实现扫描本机开放端口的功能,涉及Python socket模块与Thread多线程模块相关使用技巧,需要的朋友可以参考下
    2019-02-02
  • Python必备技巧之集合Set的使用

    Python必备技巧之集合Set的使用

    在数学中，对集合的严格定义可能是抽象的且难以掌握。但实际上可以将集合简单地认为是定义明确的不同对象的集合，通常称为元素或成员。Python 提供了一个内置的集合类型来将对象分组到一个集合中，快跟随小编一起学习一下吧
    2022-03-03
  • Python语言的自我介绍一起来看看

    Python语言的自我介绍一起来看看

    这篇文章主要为大家详细介绍了Python语言的自我介绍，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助
    2022-02-02
  • pandas如何修改某一列的数据

    pandas如何修改某一列的数据

    这篇文章主要介绍了pandas如何修改某一列的数据问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-02-02
  • Python命令行click参数用法解析

    Python命令行click参数用法解析

    这篇文章主要介绍了Python命令行click参数用法解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-12-12
  • 如何用python GUI(tkinter)写一个闹铃小程序(思路详解)

    如何用python GUI(tkinter)写一个闹铃小程序(思路详解)

    这篇文章主要介绍了用python GUI(tkinter)写一个闹铃小程序思路详解，涉及到tkinter一些函数控件，数据的类的封装，本文通过实例代码给大家介绍的非常详细,需要的朋友可以参考下
    2021-12-12
  • Python 中list ,set,dict的大规模查找效率对比详解

    Python 中list ,set,dict的大规模查找效率对比详解

    这篇文章主要介绍了Python 中list ,set,dict的大规模查找效率对比详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-10-10

最新评论