python抓取网页图片示例(python爬虫)

 更新时间:2014年04月27日 10:45:33   作者:  
这篇文章主要介绍了python抓取网页图片示例(python爬虫),需要的朋友可以参考下

复制代码 代码如下:

#-*- encoding: utf-8 -*-
'''
Created on 2014-4-24

@author: Leon Wong
'''

import urllib2
import urllib
import re
import time
import os
import uuid

#获取二级页面url
def findUrl2(html):
    re1 = r'http://tuchong.com/\d+/\d+/|http://\w+(?<!photos).tuchong.com/\d+/'
    url2list = re.findall(re1,html)
    url2lstfltr = list(set(url2list))
    url2lstfltr.sort(key=url2list.index)
    #print url2lstfltr
    return url2lstfltr

#获取html文本
def getHtml(url):
    html = urllib2.urlopen(url).read().decode('utf-8')#解码为utf-8
    return html

#下载图片到本地
def download(html_page , pageNo):  
    #定义文件夹的名字
    x = time.localtime(time.time())
    foldername = str(x.__getattribute__("tm_year"))+"-"+str(x.__getattribute__("tm_mon"))+"-"+str(x.__getattribute__("tm_mday"))
    re2=r'http://photos.tuchong.com/.+/f/.+\.jpg'
    imglist=re.findall(re2,html_page)
    print imglist
    download_img=None
    for imgurl in imglist:
        picpath = 'D:\\TuChong\\%s\\%s'  % (foldername,str(pageNo))
        filename = str(uuid.uuid1())
        if not os.path.exists(picpath):
            os.makedirs(picpath)              
        target = picpath+"\\%s.jpg" % filename
        print "The photos location is:"+target
        download_img = urllib.urlretrieve(imgurl, target)#将图片下载到指定路径中
        time.sleep(1)
        print(imgurl)
    return download_img


# def callback(blocknum, blocksize, totalsize):
#     '''回调函数
#     @blocknum: 已经下载的数据块
#     @blocksize: 数据块的大小
#     @totalsize: 远程文件的大小
#     '''
#     print str(blocknum),str(blocksize),str(totalsize)
#     if blocknum * blocksize >= totalsize:
#         print '下载完成'

def quitit():
    print "Bye!"
    exit(0)
   

if __name__ == '__main__':
    print '''            *****************************************
            **    Welcome to Spider for TUCHONG    **
            **      Created on 2014-4-24           **
            **      @author: Leon Wong             **
            *****************************************'''
    pageNo = raw_input("Input the page number you want to scratch (1-100),please input 'quit' if you want to quit>")
    while not pageNo.isdigit() or int(pageNo) > 100 :
        if pageNo == 'quit':quitit()
        print "Param is invalid , please try again."
        pageNo = raw_input("Input the page number you want to scratch >")

    #针对图虫人像模块来爬取
    html = getHtml("http://tuchong.com/tags/%E4%BA%BA%E5%83%8F/?page="+str(pageNo))

    detllst = findUrl2(html)
    for detail in detllst:
        html2 = getHtml(detail)
        download(html2,pageNo)
    print "Finished."

相关文章

  • python中Event实现线程间同步介绍

    python中Event实现线程间同步介绍

    这篇文章主要介绍了python中Event实现线程间同步,Event是python线程间同步一种常用的方法,下列内容总结需要的朋友可以参考一下
    2022-04-04
  • Python PyQt5实现拖放效果的原理详解

    Python PyQt5实现拖放效果的原理详解

    这篇文章主要为大家详细介绍了Python PyQt5中拖放效果的实现原理与实现代码,文中的示例代码讲解详细,感兴趣的小伙伴可以了解一下
    2022-11-11
  • Python获取时光网电影数据的实例代码

    Python获取时光网电影数据的实例代码

    这篇文章主要介绍了Python获取时光网电影数据,基本原理是先通过requests库,通过时光网自带的电影数据API接口,获取到指定的电影数据,本文结合示例代码给大家介绍的非常详细,需要的朋友可以参考下
    2022-09-09
  • ubuntu系统如何从python3.7升级到python3.8

    ubuntu系统如何从python3.7升级到python3.8

    这篇文章主要给大家介绍了关于ubuntu系统如何从python3.7升级到python3.8的相关资料,Python是一种广泛使用的编程语言,而Ubuntu是一个流行的开源操作系统,通过升级Python您可以获得新功能、性能改进和安全修复,需要的朋友可以参考下
    2023-11-11
  • Python构造函数及解构函数介绍

    Python构造函数及解构函数介绍

    这篇文章主要介绍了Python构造函数及解构函数介绍,本文只是讲解构造及解构函数的简单知识,需要的朋友可以参考下
    2015-02-02
  • 在pyqt5中展示pyecharts生成的图像问题

    在pyqt5中展示pyecharts生成的图像问题

    本文通过一个实际的散点图案例,展示了如何使用pyqt5嵌套一个pyecharts图层的方法,通过这个技巧,可以在pyqt5的框架中也实现精美的数据可视化的功能模块,感兴趣的朋友一起看看吧
    2022-01-01
  • Python 输出详细的异常信息(traceback)方式

    Python 输出详细的异常信息(traceback)方式

    这篇文章主要介绍了Python 输出详细的异常信息(traceback)方式,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-04-04
  • Python实现图数据处理的完整指南

    Python实现图数据处理的完整指南

    图是一种非常重要的数据结构,在Python中,我们可以使用邻接矩阵来表示图,这篇文章主要为大家介绍了Python实现图数据处理的相关知识,需要的可以参考下
    2024-04-04
  • python中split(), os.path.split()和os.path.splitext()的用法

    python中split(), os.path.split()和os.path.splitext()的用法

    本文主要介绍了python中split(), os.path.split()和os.path.splitext()的用法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-02-02
  • PyTorch模型容器与AlexNet构建示例详解

    PyTorch模型容器与AlexNet构建示例详解

    这篇文章主要为大家介绍了PyTorch模型容器与AlexNet构建示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-07-07

最新评论