Python爬取京东的商品分类与链接
更新时间：2016年08月26日 09:23:57 作者：Rookie_C
这篇文章主要介绍利用python爬取京东商品分类以及对应的连接，这个功能不是很复杂，没有爬取里面的隐藏的东西。算是给新手一个示例教程吧，有需要的可以参考借鉴。
前言
本文主要的知识点是使用Python的BeautifulSoup进行多层的遍历。
如图所示。只是一个简单的哈，不是爬取里面的隐藏的东西。
示例代码
from bs4 import BeautifulSoup as bs
import requests
headers = {
"host": "www.jd.com",
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36 Core/1.47.933.400 QQBrowser/9.4.8699.400",
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8"
}
session = requests.session()
def get_url():
renspned = bs(session.get('http://www.jd.com/',headers = headers).text,'html.parser')
for i in renspned.find("div", {"class": "dd-inner"}).find_all("a",{"target":"_blank"}):
print(i.get_text(),':',i.get('href'))
get_url()
运行这段代码以及达到了我们的目的。
我们来解读一下这段代码。
首先我们要访问到京东的首页。
然后通过BeautifulSoup对访问到的首页进行解析。
这个时候，我们就要定位元素，来获取我们需要的东西了。
在浏览器中通过F12，我们可以看到下图所示的东西：
我们来看看下面这句代码：
for i in renspned.find("div", {"class": "dd-inner"}).find_all("a",{"target":"_blank"})
这一行代码完全满足我们的需求，首先用find方法，定位到了class=“dd-inner”的div，然后使用find_all对该标签下所有的a标签。
最后，我想打印出所有的商品分类以及对应的链接，于是，我使用了i.get_text()和i.get('href')的方法终于获取到了商品分类和对应的链接。
总结
其实不是很难，主要是要用对方法。笔者因为是初学方法没有用对。花了差不多两天时间才搞定。这里也是告诉大家，可以使用find().find_all()的方法进行多层的遍历。以上就是我利用Python爬取京东的商品分类与链接的一些经验，希望对大家学习python能有所帮助。
相关文章
Python pip通过requirements.txt 文件安装依赖
requirements.txt是定义项目依赖的python包,可通过工具生成,本文主要介绍了Python pip通过requirements.txt文件安装依赖,具有一定的参考价值,感兴趣的可以了解一下2024-03-03
Python基于QRCode实现生成二维码的方法【下载,安装,调用等】
这篇文章主要介绍了Python基于QRCode实现生成二维码的方法,结合实例形式较为详细的分析了Python下载,安装与调用QRCode实现生成二维码功能的具体步骤与相关操作技巧,需要的朋友可以参考下2017-07-07
这篇文章主要为大家详细介绍了python脚本监控docker容器的相关资料，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2016-04-04
python图形界面开发之wxPython树控件使用方法详解
这篇文章主要介绍了python图形界面开发之wxPython树控件使用方法详解,需要的朋友可以参考下2020-02-02
今天小编就为大家分享一篇python 将大文件切分为多个小文件的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-01-01
这篇文章主要介绍了Pandas之groupby( )用法笔记小结，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-07-07
这篇文章主要为大家分享了python中PIL安装简单教程，感兴趣的小伙伴们可以参考一下2016-04-04
今天小编就为大家分享一篇pytorch中图像的数据格式实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-02-02
这篇文章主要介绍了python绘图subplots函数使用模板的示例代码,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-04-04
这篇文章主要介绍了Django为窗体加上防机器人的验证码功能过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-08-08
最新评论