Python探索之爬取电商售卖信息代码示例

 更新时间:2017年10月27日 15:58:20   作者:止 静  
这篇文章首先简单介绍了网络爬虫的基本概念,然后向大家分享了一段有关爬取电商售卖信息的实例代码,具有一定参考价值,需要的朋友可以了解下。

网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本。

下面有一个示例代码,分享给大家:

#! /usr/bin/env python

#
encoding = 'utf-8'#
Filename: spider_58center_sth.py
from bs4
import BeautifulSoup
import time
import requests
url_58 = 'http://nj.58.com/?PGTID=0d000000-0000-0c5c-ffba-71f8f3f7039e&ClickID=1'
''
'
用于爬取电商售卖信息: 例为58同城电脑售卖信息 ''
'
def get_url_list(url):
  web_data = requests.get(url)
soup = BeautifulSoup(web_data.text, 'lxml')
url = soup.select('td.t > a[class="t"]')
url_list = ''
for link in url:
  link_n = link.get('href')
if 'zhuanzhuan' in link_n:
  pass
else :
  if 'jump' in link_n:
  pass
else :
  url_list = url_list + '\n' + link_n
print('url_list: %s' % url_list)
return url_list# 分类获取目标信息
def get_url_info():
  url_list = get_url_list(url_58)
for url in url_list.split():
  time.sleep(1)
web_datas = requests.get(url)
soup = BeautifulSoup(web_datas.text, 'lxml')
type = soup.select('#head > div.breadCrumb.f12 > span:nth-of-type(3) > a')
title = soup.select(' div.col_sub.mainTitle > h1')
date = soup.select('li.time')
price = soup.select('div.person_add_top.no_ident_top > div.per_ad_left > div.col_sub.summary > ul > '
  'li:nth-of-type(1) > div.su_con > span.price.c_f50')
fineness = soup.select('div.col_sub.summary > u1 > li:nth-of-type(2) > div.su_con > span')
area = soup.select('div.col_sub.summary > u1 > li:nth-of-type(3) > div.su_con > span')
for typei, titlei, datei, pricei, finenessi, areai in zip(type, title, date, price, fineness, area): #做字典
data = {
  'type': typei.get_text(),
  'title': titlei.get_text(),
  'date': datei.get_text(),
  'price': pricei.get_text(),
  'fineness': (finenessi.get_text()).strip(),
  'area': list(areai.stripped_strings)
}
print(data)
get_url_info()

爬取商城商品售卖信息

总结

以上就是本文关于Python探索之爬取电商售卖信息代码示例的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站:Python探索之自定义实现线程池Python探索之ModelForm代码详解等,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

相关文章

  • 正确理解python中的关键字“with”与上下文管理器

    正确理解python中的关键字“with”与上下文管理器

    这篇文章主要介绍了关于python中关键字"with"和上下文管理器的相关资料,文中介绍的非常详细,相信对大家学习或者使用python具有一定的参考价值,需要的朋友们下面来一起看看吧。
    2017-04-04
  • Python基于matplotlib画箱体图检验异常值操作示例【附xls数据文件下载】

    Python基于matplotlib画箱体图检验异常值操作示例【附xls数据文件下载】

    这篇文章主要介绍了Python基于matplotlib画箱体图检验异常值操作,涉及Python针对xls格式数据文件的读取、matplotlib图形绘制等相关操作技巧,并附带xls数据文件供读者下载参考,需要的朋友可以参考下
    2019-01-01
  • Python开发中的Nonetype类型详解

    Python开发中的Nonetype类型详解

    这篇文章主要介绍了Python开发中的Nonetype类型详解,None有自己的数据类型NoneType,你可以将None复制给任何变量,但是你不能创建其他NoneType对象,需要的朋友可以参考下
    2023-12-12
  • python元组操作实例解析

    python元组操作实例解析

    这篇文章主要介绍了python元组操作,以实例的形式较为直观的讲述了Python中元组的特点与用法,需要的朋友可以参考下
    2014-09-09
  • Flask表单与表单验证实现流程介绍

    Flask表单与表单验证实现流程介绍

    这篇文章主要介绍了python中Flask Web 表单的使用方法介绍,表单的操作是Web程序开发中最核心的模块之一,绝大多数的动态交互功能都是通过表单的形式实现的。更多介绍需要的小伙伴可以参考下面文章内容
    2022-09-09
  • 解决python运行效率不高的问题

    解决python运行效率不高的问题

    在本篇文章中小编给大家分享了关于解决python运行效率不高的问题,有需要的朋友们可以跟着学习下。
    2020-07-07
  • Python实现像awk一样分割字符串

    Python实现像awk一样分割字符串

    这篇文章主要介绍了Python实现像awk一样分割字符串,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-09-09
  • python遗传算法之geatpy的深入理解

    python遗传算法之geatpy的深入理解

    本文主要介绍了python遗传算法之geatpy的深入理解,主要从geatpy中的各种数据结构一步一步进行学习,具有一定的参考价值,感兴趣的可以了解一下
    2022-04-04
  • Pytorch实现逻辑回归分类

    Pytorch实现逻辑回归分类

    这篇文章主要为大家详细介绍了Pytorch实现逻辑回归分类,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2022-07-07
  • django中使用POST方法获取POST数据

    django中使用POST方法获取POST数据

    这篇文章主要介绍了django中使用POST方法获取POST数据,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-08-08

最新评论