脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → scrapy的redis安装和配置

基于scrapy的redis安装和配置方法

 更新时间：2018年06月13日 09:52:52   作者：成吉思潇  
今天小编就为大家分享一篇基于scrapy的redis安装和配置方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

在定向爬虫的制作过程中，使用分布式爬取技术可以显著提高爬取效率。而 Redis 配合 Scrapy 是实现分布式爬取的基础。

Redis 是一个高性能的 Key-Value 数据库，它把数据保存在内存里。因此可以有非常快的数据读写速度。

scrapy-redis 的安装

pip install scrapy-redis
easy_install scrapy-redis

下载

http://redis.io/download

版本推荐

stable 3.0.2

运行redis

redis-server redis.conf

清空缓存

redis-cli flushdb

scrapy配置redis

settings.py配置redis

SCHEDULER = "scrapy_redis.scheduler.Scheduler"
SCHEDULER_PERSIST = True
SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderPriorityQueue'
REDIS_URL = None # 一般情况可以省去
REDIS_HOST = '127.0.0.1' # 也可以根据情况改成 localhost
REDIS_PORT = 6379

在scrapy中使用scrapy-redis

spider 继承RedisSpider

class tempSpider(RedisSpider) 
name = "temp"
redis_key = ''temp:start_url"

以上这篇基于scrapy的redis安装和配置方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

相关文章

  • python用10行代码实现对黄色图片的检测功能

    python用10行代码实现对黄色图片的检测功能

    这篇文章主要介绍了python用10行代码实现对黄色图片的检测功能,涉及Python基于图片库PIL对图片的检测技巧,具有一定参考借鉴价值,需要的朋友可以参考下
    2015-08-08
  • Python编程中类与类的关系详解

    Python编程中类与类的关系详解

    在本文里小编给大家整理了关于Python编程中类与类的关系以及相关代码知识点，需要的朋友们可以学习下。
    2019-08-08
  • Python实现给图片添加文字或图片水印

    Python实现给图片添加文字或图片水印

    在现今的数字化时代，网络上的图片泛滥，盗图现象也越来越严重。因此，在发布文章时，为了保护自己的原创作品版权，很多人选择使用水印来保护他们的图片。本文就和大家分享了Python实现给图片添加文字或图片水印的方法，需要的可以收藏一下
    2023-05-05
  • Python向日志输出中添加上下文信息

    Python向日志输出中添加上下文信息

    这篇文章主要介绍了Python向日志输出中添加上下文信息的方法，非常不错，具有参考借鉴价值,需要的朋友可以参考下
    2017-05-05
  • 基于Python实现自动化文档整理工具

    基于Python实现自动化文档整理工具

    一个人可能会在计算机上存储大量的照片、视频和文档文件，这些文件可能散落在不同的文件夹中，难以管理和查找。所以本文就来用Python制作一个自动化文档整理工具吧
    2023-04-04
  • python lambda表达式在sort函数中的使用详解

    python lambda表达式在sort函数中的使用详解

    这篇文章主要介绍了python lambda表达式在sort函数中的使用详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-08-08
  • Python字符串和二进制字符串之间的转换方法示例

    Python字符串和二进制字符串之间的转换方法示例

    python中没有0-1形式的二进制类型,但我们依然可以存储二进制类型的数据,下面这篇文章主要给大家介绍了关于Python字符串和二进制字符串之间的转换方法,需要的朋友可以参考下
    2023-06-06
  • 在 Pycharm 安装使用black的方法详解

    在 Pycharm 安装使用black的方法详解

    这篇文章主要介绍了如何在 Pycharm 安装使用black的相关知识，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-04-04
  • python操作gmail实例

    python操作gmail实例

    这篇文章主要介绍了python操作gmail的方法,实例分析了python针对gmail操作的技巧,具有一定参考借鉴价值,需要的朋友可以参考下
    2015-01-01
  • 基于Python实现自动点击器

    基于Python实现自动点击器

    顾名思义,Python 中的自动点击器是一个简单的 Python 应用程序,它根据用户要求重复单击鼠标, 不同的参数可以根据用户进行更改,下面我们就来看看具体实现方法吧
    2023-10-10

最新评论