使用BeautifulSoup爬虫程序获取百度搜索结果的标题和url示例
更新时间：2014年01月19日 15:37:07 作者：
这篇文章主要介绍了使用BeautifulSoup编写了一段爬虫程序获取百度搜索结果的标题和url的示例，大家参考使用吧
熟悉Java的jsoup包的话，对于Python的BeautifulSoup库应该很容易上手。
复制代码 代码如下:
#coding: utf-8
import sys
import urllib
import urllib2
from BeautifulSoup import BeautifulSoup
question_word = "吃货 程序员"
url = "http://www.baidu.com/s?wd=" + urllib.quote(question_word.decode(sys.stdin.encoding).encode('gbk'))
htmlpage = urllib2.urlopen(url).read()
soup = BeautifulSoup(htmlpage)
print len(soup.findAll("table", {"class": "result"}))
for result_table in soup.findAll("table", {"class": "result"}):
a_click = result_table.find("a")
print "-----标题----\n" + a_click.renderContents()#标题
print "----链接----\n" + str(a_click.get("href"))#链接
print "----描述----\n" + result_table.find("div", {"class": "c-abstract"}).renderContents()#描述
print
相关文章
今天小编就为大家分享一篇Python 利用切片从列表中取出一部分使用的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-02-02
在python列表操作中除了排序、删除、添加、去重外,合并也是经常需求的操作,下面这篇文章主要给大家介绍了关于Python中合并列表的5种方法,文中通过代码介绍的非常详细,需要的朋友可以参考下2024-02-02
Python基础之python循环控制语句break/continue详解
Python中提供了两个关键字用来控制循环语句,分别是break和continue，接下来通过两个案例来区分这两个控制语句的不同，感兴趣的朋友一起看看吧2021-09-09
type()是一个内置函数，可以很方便地查询对象数据类型；主要有两种用法：一个参数和三个参数，这篇文章主要介绍了Python中的 type()函数,需要的朋友可以参考下2022-08-08
今天小编就为大家分享一篇python django中8000端口被占用的解决，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-12-12
微信公众号共有三种，服务号、订阅号、企业号。它们在获取AccessToken上各有不同。接下来通过本文给大家介绍python利用微信公众号实现报警功能，感兴趣的朋友一起看看吧2018-06-06
这篇文章主要介绍了python爬虫请求头的使用,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-12-12
Python 2强大的一个地方是它身后巨大的第三方库，恩，可以做任何事。Python 3没有这个。是的，很多库已经移植了，但是仍然有数以十倍的库没有移植过去，而且也不太容易2014-11-11
今天小编就为大家分享一篇python遍历文件夹找出文件夹后缀为py的文件方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-10-10
这篇文章主要为大家介绍了Python顺序结构语句，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助2022-01-01
最新评论