使用Python的Scrapy框架十分钟爬取美女图
更新时间：2016年12月26日 15:08:45 作者：strivescript
Scrapy是一个使用Python编写的，轻量级的，简单轻巧，并且使用起来非常的方便。使用Scrapy可以很方便的完成网上数据的采集工作，它为我们完成了大量的工作，而不需要自己费大力气去开发。本文介绍了使用Python的Scrapy框架十分钟爬取美女图,需要的朋友可以参考下
简介
scrapy 是一个 python 下面功能丰富、使用快捷方便的爬虫框架。用 scrapy 可以快速的开发一个简单的爬虫，官方给出的一个简单例子足以证明其强大：
快速开发
下面开始10分钟倒计时：
当然开始前，可以先看看之前我们写过的 scrapy 入门文章 《零基础写python爬虫之使用Scrapy框架编写爬虫
1. 初始化项目
scrapy startproject mzt cd mzt scrapy genspider meizitu meizitu.com
2. 添加 spider 代码：
定义 scrapy.Item ，添加 image_urls 和 images ，为下载图片做准备。
修改 start_urls 为初始页面, 添加 parse 用于处理列表页， 添加 parse_item 处理项目页面。
3. 修改配置文件：
DOWNLOAD_DELAY = 1 # 添加下载延迟配置
ITEM_PIPELINES = {'scrapy.pipelines.images.ImagesPipeline': 1} # 添加图片下载 pipeline
IMAGES_STORE = '.' # 设置图片保存目录4. 运行项目：
scrapy crawl meizitu
看，项目运行效果图
等待一会儿，就是收获的时候了
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作能带来一定的帮助，如果有疑问大家可以留言交流。
相关文章
PyTorch是由Facebook开发的开源机器学习库,它用于深度神经网络和自然语言处理,下面这篇文章主要给大家介绍了关于PyTorch中Torch.arange函数详解的相关资料,需要的朋友可以参考下2023-02-02
Python编程实现两个文件夹里文件的对比功能示例【包含内容的对比】
这篇文章主要介绍了Python编程实现两个文件夹里文件的对比功能,包含内容的对比操作,涉及Python文件与目录的遍历、比较、运算等相关操作技巧,需要的朋友可以参考下2017-06-06
这篇文章主要介绍了Python基于pillow判断图片完整性的方法,结合实例形式简单分析了pillow的安装及图片完整性判断的相关操作技巧,需要的朋友可以参考下2016-09-09
在本篇文章里小编给各位整理了关于python和c语言的主要区别的相关知识帖内容，有需要的朋友们学习阅读下。2019-07-07
今天小编就为大家分享一篇Pytorch evaluation每次运行结果不同的解决，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-01-01
这篇文章主要为大家介绍了Pytorch autograd与逻辑回归的实现详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-07-07
这篇文章主要介绍了YOLOv5车牌识别实战教程(八)Web应用与API开发,在这个教程中，我们将一步步教你如何使用YOLOv5进行车牌识别,帮助你快速掌握YOLOv5车牌识别技能,需要的朋友可以参考下2023-04-04
这篇文章主要为大家详细介绍了python实现合并两个排序的链表，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2019-03-03
Python Web开发通信协议WSGI uWSGI uwsgi使用对比全面介绍
这篇文章主要为大家介绍了Python Web开发通信协议WSGI uWSGI uwsgi使用对比全面介绍,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2023-12-12
在Python中通过OpenCV自己训练分类器进行特定物体实时识别,下面这篇文章主要给大家介绍了关于如何利用opencv训练自己的模型实现特定物体的识别,文中通过实例代码介绍的非常详细,需要的朋友可以参考下2022-10-10
最新评论