Python读取网页内容的方法
更新时间：2015年07月30日 16:57:50 作者：写代码没钱途
这篇文章主要介绍了Python读取网页内容的方法,实例分析了Python基于URL读取网页内容的相关技巧,具有一定参考借鉴价值,需要的朋友可以参考下
本文实例讲述了Python读取网页内容的方法。分享给大家供大家参考。具体如下：
import urllib2
#encoding = utf-8
class Crawler:
def main(self):
#req = urllib2.Request('http://www.baidu.com/')
#req.add_header('User-Agent', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:5.0)')
#urllib2.socket.setdefaulttimeout(10) # 超时10秒
#page = urllib2.urlopen(req)
page = urllib2.urlopen('http://www.google.com', timeout=10)
data = page.read()
print data
print len(data) #计算字节长度
if __name__ == '__main__':
me=Crawler()
me.main()
希望本文所述对大家的Python程序设计有所帮助。
您可能感兴趣的文章:
- python打开url并按指定块读取网页内容的方法
- Python读取本地文件并解析网页元素的方法
- Python中文分词工具之结巴分词用法实例总结【经典案例】
- Python 结巴分词实现关键词抽取分析
- python jieba分词并统计词频后输出结果到Excel和txt文档方法
- python使用jieba实现中文分词去停用词方法示例
- python中文分词教程之前向最大正向匹配算法详解
- Python基于jieba库进行简单分词及词云功能实现方法
- python实现中文分词FMM算法实例
- Python中文分词实现方法(安装pymmseg)
- python中文分词,使用结巴分词对python进行分词(实例讲解)
- python实现的读取网页并分词功能示例
相关文章
这篇文章主要介绍了用python写一个抽奖程序，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-05-05
这篇文章主要介绍了python实现猜数字游戏(无重复数字)示例,需要的朋友可以参考下2014-03-03
这篇文章主要介绍了使用python实现扫描端口示例,需要的朋友可以参考下2014-03-03
这篇文章主要为大家详细介绍了Python实现批量压缩图片的方法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-01-01
本文主要介绍了python因子分析的实例，这里举一个因子分析的具体的例子, 看一下因子分析是如何进行的，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2022-03-03
今天小编就为大家分享一篇基于数据归一化以及Python实现方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-07-07
python3第三方爬虫库BeautifulSoup4安装教程
这篇文章主要为大家详细介绍了python3第三方爬虫库BeautifulSoup4的安装教程，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-06-06
下面小编就为大家分享一篇利用Pandas 创建空的DataFrame方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-04-04
这篇文章主要介绍了Puppeteer使用示例详解，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2019-06-06
这篇文章主要介绍了Python实现访问者模式详情，访问者模式，指作用于一个对象结构体上的元素的操作。访问者可以使用户在不改变该结构体中的类的基础上定义一个新的操作，下文更多相关资料,需要的朋友可以参考下2022-03-03
最新评论