python基于BeautifulSoup实现抓取网页指定内容的方法
更新时间：2015年07月09日 10:12:50 作者：光索与诺
这篇文章主要介绍了python基于BeautifulSoup实现抓取网页指定内容的方法,涉及Python使用BeautifulSoup模块解析html网页的相关技巧,具有一定参考借鉴价值,需要的朋友可以参考下
本文实例讲述了python基于BeautifulSoup实现抓取网页指定内容的方法。分享给大家供大家参考。具体实现方法如下：
# _*_ coding:utf-8 _*_
#xiaohei.python.seo.call.me:)
#win+python2.7.x
import urllib2
from bs4 import BeautifulSoup
def jd(url):
page = urllib2.urlopen(url)
html_doc = page.read()
soup = BeautifulSoup(html_doc.decode('gb2312','ignore'))
for i in soup.find_all('div', id="sortlist"):
one = i.find_all('a')
two = i.find_all('li')
print ("%s %s" % (one,two))
jd("http://channel.jd.com/computer.html")
希望本文所述对大家的Python程序设计有所帮助。
您可能感兴趣的文章:
- python BeautifulSoup使用方法详解
- Python BeautifulSoup [解决方法] TypeError: list indices must be integers or slices, not str
- Python BeautifulSoup中文乱码问题的2种解决方法
- python 解析html之BeautifulSoup
- Python爬虫库BeautifulSoup获取对象(标签)名,属性,内容,注释
- python中bs4.BeautifulSoup的基本用法
- Python使用BeautifulSoup库解析HTML基本使用教程
- python爬虫之BeautifulSoup 使用select方法详解
- python爬虫入门教程--HTML文本的解析库BeautifulSoup（四）
- 从零开始学习Python与BeautifulSoup网页数据抓取
相关文章
这篇文章主要介绍了使用python爬取晋江文学城小说评论(情绪分析),全文代码详细，逻辑清晰，很适合学习爬虫爬取的朋友,需要的朋友可以参考下2021-04-04
这篇文章主要介绍了Python中的异常处理以及自定义异常类型方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-02-02
这篇文章主要为大家介绍了Python实现自动驾驶训练模型，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-06-06
这篇文章主要介绍了使用python+Pyqt5实现串口调试助手,串口通讯程序首先要对串口进行设置，如波特率、数据位、停止位、校验位等，需要的朋友可以参考下2022-04-04
在Python中可以使用PIL库（Python Imaging Library）来合并两张图片,这篇文章主要给大家介绍了关于如何利用Python合并两张图片的相关资料,文中给了详细的代码示例,需要的朋友可以参考下2024-03-03
这篇文章主要为大家详细介绍了Python使用django搭建web开发环境，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2017-06-06
这篇文章主要介绍了python中常见的5种框架，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-12-12
这篇文章主要介绍了Ubuntu16.04安装python3.6.5详细步骤，本文给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下2020-01-01
这篇文章主要为大家介绍了Python Docx库完美操作word文档,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2024-01-01
python实战scrapy操作cookie爬取博客涉及browsercookie
这篇文章主要为大家介绍了python实战scrapy操作cookie爬取博客涉及browsercookie，下面来学习一下 scrapy 操作 Cookie来爬取博客吧2021-11-11
最新评论