python抓取京东价格分析京东商品价格走势
from creepy import Crawler
from BeautifulSoup import BeautifulSoup
import urllib2
import json
class MyCrawler(Crawler):
def process_document(self, doc):
if doc.status == 200:
print '[%d] %s' % (doc.status, doc.url)
try:
soup = BeautifulSoup(doc.text.decode('gb18030').encode('utf-8'))
except Exception as e:
print e
soup = BeautifulSoup(doc.text)
print soup.find(id="product-intro").div.h1.text
url_id=urllib2.unquote(doc.url).decode('utf8').split('/')[-1].split('.')[0]
f = urllib2.urlopen('http://p.3.cn/prices/get?skuid=J_'+url_id,timeout=5)
price=json.loads(f.read())
f.close()
print price[0]['p']
else:
pass
crawler = MyCrawler()
crawler.set_follow_mode(Crawler.F_SAME_HOST)
crawler.set_concurrency_level(16)
crawler.add_url_filter('\.(jpg|jpeg|gif|png|js|css|swf)$')
crawler.crawl('http://item.jd.com/982040.html')
相关文章
这篇文章主要介绍了用Python实现数据透视表、音频文件格式转换,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2023-10-10
Python之ThreadPoolExecutor线程池问题
这篇文章主要介绍了Python之ThreadPoolExecutor线程池问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2023-03-03
这篇文章主要介绍了python读取excel数据并且画图的实现示例，帮助大家更好的理解和使用python，感兴趣的朋友可以了解下2021-02-02
这篇文章主要为大家详细介绍了python pygame模块编写飞机大战，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-11-11
Python functools冻结参数小技巧实现代码简洁优化
这篇文章主要为大家介绍了Python functools冻结参数小技巧实现代码简洁优化示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2023-12-12
众所周知,我们可以使用 print() 方法来输出一个固定内容的字符串,就像是 print("Hello, world!") 一样,但是,在现实中,我们很多时候是需要输出一些内容不断变化,或者内容动态生成的字符串,本文将介绍如何按照需要,在Python中格式化一个字符串2023-10-10
Python常用标准库详解(pickle序列化和JSON序列化)
这篇文章主要介绍了Python常用标准库，主要包括pickle序列化和JSON序列化模块,通过使用场景分析给大家介绍的非常详细，需要的朋友可以参考下2022-05-05
今天小编就为大家分享一篇关于TensorFlow新旧版本函数接口变化详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-02-02
这篇文章主要介绍了Python类属性与实例属性用法,实例分析了Python类属性与实例属性的功能、定义与使用技巧,需要的朋友可以参考下2015-05-05
ModelForm类是form是组件中Form的一个子类,所以也是处理表单的,下面这篇文章主要给大家介绍了关于django中模板继承与ModelForm的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下2022-04-04
最新评论