使用Python抓取模板之家的CSS模板
更新时间:2015年03月16日 14:32:57 投稿:hebedich
本文给大家介绍的是使用Python抓取模板之家的CSS模板并打包成zip文件的代码,使用的是单线程,非常简单实用,这里分享给大家,有相同需求的小伙伴参考下吧。
Python版本是2.7.9,在win8上测试成功,就是抓取有点慢,本来想用多线程的,有事就罢了。模板之家的网站上的url参数与页数不匹配,懒得去做分析了,就自己改代码中的url吧。大神勿喷!
复制代码 代码如下:
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# by ustcwq
# 2015-03-15
import urllib,urllib2,os,time
from bs4 import BeautifulSoup
start = time.clock()
path = os.getcwd()+u'/模板之家抓取的模板/'
if not os.path.isdir(path):
os.mkdir(path)
url = "http://www.cssmoban.com/cssthemes/index_80.shtml" # 源网站中的index后面数字怎么编排的?
theme_url ='http://www.cssmoban.com/cssthemes/'
response = urllib2.urlopen(url)
soup = BeautifulSoup(response)
result = soup.select('p[class="title"] a')
print result
for item in result:
link = item['href']
# down_name = item.text # 文件名称
new_url = theme_url+link.split('/')[-1]
response = urllib2.urlopen(new_url)
soup = BeautifulSoup(response)
result = soup.select('.btn a')
down_url = result[1]['href'] # 文件链接
local = path+time.strftime('%Y%m%d%H%M%S',time.localtime(time.time()))+'.zip'
urllib.urlretrieve(down_url, local) # 远程保存函数
end = time.clock()
print u'模板抓取完成!'
print u'一共用时:',end-start,u'秒'
以上所述就是本文的全部内容了,希望大家能够喜欢。
相关文章
基于python实现的百度音乐下载器python pyqt改进版(附代码)
这篇文章主要介绍了基于python实现的百度音乐下载器python pyqt改进版(附代码),文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-08-08Django admin 实现search_fields精确查询实例
这篇文章主要介绍了Django admin 实现search_fields精确查询实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧2020-03-03pandas中的DataFrame按指定顺序输出所有列的方法
下面小编就为大家分享一篇pandas中的DataFrame按指定顺序输出所有列的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧2018-04-04
最新评论