python使用BeautifulSoup分析网页信息的方法
本文实例讲述了python使用BeautifulSoup分析网页信息的方法。分享给大家供大家参考。具体如下：
这段python代码查找网页上的所有链接，分析所有的span标签，并查找class包含titletext的span的内容
import urllib2
#specify the url you want to query
url = "http://www.python.org"
#Query the website and return the html to the variable 'page'
page = urllib2.urlopen(url)
#import the Beautiful soup functions to parse the data returned from the website
from BeautifulSoup import BeautifulSoup
#Parse the html in the 'page' variable, and store it in Beautiful Soup format
soup = BeautifulSoup(page)
#to print the soup.head is the head tag and soup.head.title is the title tag
print soup.head
print soup.head.title
#to print the length of the page, use the len function
print len(page)
#create a new variable to store the data you want to find.
tags = soup.findAll('a')
#to print all the links
print tags
#to get all titles and print the contents of each title
titles = soup.findAll('span', attrs = { 'class' : 'titletext' })
for title in allTitles:
print title.contents
希望本文所述对大家的Python程序设计有所帮助。
相关文章
最近在学习python3，发现了一个问题想着总结出来，所以下面这篇文章主要给大家介绍了关于Python 3中print函数换行的相关资料，文中通过示例代码介绍的非常详细，对需要的朋友们具有一定的参考学习价值，感兴趣的朋友们下面随着小编来一起学习学习吧。2017-08-08
这篇文章主要介绍了Python操作Word批量生成合同的实现示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-08-08
Python中线程threading.Thread的使用详解
python的thread模块是比较底层的模块，python的threading模块是对thread做了一些包装的，可以更加方便的被使用。本文将为大家详细介绍一下python中的线程threading.Thread()的使用，需要的可以参考一下2022-07-07
eval(str)函数很强大,官方解释为将字符串str当成有效的表达式来求值并返回计算结果,下面这篇文章主要给大家介绍了关于Python eval() 函数的相关资料,需要的朋友可以参考下2022-01-01
今天小编就为大家分享一篇Python实现图像的垂直投影示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-01-01
这篇文章主要介绍了python如何实现向上取整问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2023-01-01
Python GUI利用tkinter皮肤ttkbootstrap实现好看的窗口
这篇文章主要介绍了Python GUI利用tkinter皮肤ttkbootstrap实现好看的窗口，文章基于python的相关资料展开详细的内容介绍，具有一定的参考价值，感兴趣的小伙伴可以参考一下2022-06-06
Python操作MySQL数据库实例详解【安装、连接、增删改查等】
这篇文章主要介绍了Python操作MySQL数据库,结合实例形式详细分析了Python操作mysql数据库的安装、连接、增删改查等相关实现技巧与注意事项,需要的朋友可以参考下2020-01-01
本系列以可操作性为主，介绍如何通过django web框架来实现一些简单的功能。每一篇文章都具有完整性和独立性。使用新手在动手做的过程中体会web开发的过程，过程中细节请参考相关文档。2016-01-01
这篇文章主要介绍了python3 map函数和filter函数详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-08-08
最新评论