python爬虫模拟浏览器访问-User-Agent过程解析
更新时间：2019年12月28日 10:08:30 作者：故事的小黄花丶
这篇文章主要介绍了python爬虫模拟浏览器访问-User-Agent过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
这篇文章主要介绍了python爬虫模拟浏览器访问-User-Agent过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
模拟浏览器访问-User-Agent：
import urllib2
#User-Agent 模拟浏览器访问
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"}
#通过urllib2.Request()方法构造一个请求对象
request = urllib2.Request("http://www.baidu.com/",headers = headers)
#向指定的URL地址发送请求，并返回服务器响应的类文件对象
#response是服务器响应的类文件，除了支持文件操作的方法外，还支持以下常用的方法：
response = urllib2.urlopen(request)
#服务器返回的类文件对象支持python文件对象的操作方法
#read()方法就是读取文件里的全部内容，返回字符串
html = response.read()
#返回HTTP的响应码，成功返回200,4服务器页面出错；5.服务器问题
print response.getcode()
#返回实际数据的实际URL，防止重定向问题
print response.geturl()
#返回服务器响应的HTTP报头
print response.info()
#打印响应内容
print(html)
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了Python实现查询某个目录下修改时间最新的文件,涉及Python使用os与shutil模块针对文件的遍历、属性获取、读写等相关操作技巧,需要的朋友可以参考下2018-08-08
今天小编就为大家分享一篇使用pytorch进行图像的顺序读取方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-07-07
这篇文章主要介绍了Python 内置函数complex详解的相关资料,需要的朋友可以参考下2016-10-10
这篇文章主要介绍了Python面向对象编程之继承与多态,结合实例形式详细分析了Python面向对象编程中继承与多态的概念、使用方法及相关注意事项,需要的朋友可以参考下2018-01-01
这篇文章主要介绍了python多进程使用函数封装实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-05-05
在本篇文章里小编给大家整理的是关于python中wheel的用法整理内容，需要的朋友们可以跟着学习下。2020-06-06
这篇文章主要介绍了浅谈Python traceback的优雅处理，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2018-08-08
Python开发虚拟环境使用virtualenvwrapper的搭建步骤教程图解
virtualenvwrapper是用来管理virtualenv的扩展包，用着很方便。这篇文章主要介绍了Python开发虚拟环境使用virtualenvwrapper的搭建步骤 ,需要的朋友可以参考下2018-09-09
这篇文章主要介绍了Python爬虫之Selenium下拉框处理的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-12-12
PyTorch中 tensor.detach() 和 tensor.data 的区别详解
今天小编就为大家分享一篇PyTorch中 tensor.detach() 和 tensor.data 的区别详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-01-01
最新评论