脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → celery如何在python爬虫中进行定时操作

celery在python爬虫中定时操作实例讲解

 更新时间：2020年11月27日 08:31:24   作者：小妮浅浅  
在本篇文章里小编给大家整理了一篇关于celery在python爬虫中定时操作实例讲解内容，需要的朋友们可以参考下。

使用定时功能对于我们想要快速获取某个数据来说，是一个非常好的方法。这样我们就不用苦苦守在电脑屏幕前，只为蹲到某个想要的东西。在之前我们已经讲过time函数进行定时操作，这算是time函数的比较基础的一个用法了。其实定时功能同样可以用celery实现，具体的方法我们往下看：

爬虫由于其特殊性，可能需要定时做增量抓取，也可能需要定时做模拟登陆，以防止cookie过期，而celery恰恰就实现了定时任务的功能。在上述基础上，我们将`tasks.py`文件改成如下内容

from celery import Celery
app = Celery('add_tasks', broker='redis:''//223.129.0.190:6379/2', backend='redis:''//223.129.0.190:6379/3')
app.conf.update(
  # 配置所在时区
  CELERY_TIMEZONE='Asia/Shanghai',
  CELERY_ENABLE_UTC=True,
  # 官网推荐消息序列化方式为json
  CELERY_ACCEPT_CONTENT=['json'],
  CELERY_TASK_SERIALIZER='json',
  CELERY_RESULT_SERIALIZER='json',
  # 配置定时任务
  CELERYBEAT_SCHEDULE={
    'my_task': {
      'task': 'tasks.add', # tasks.py模块下的add方法
      'schedule': 60,   # 每隔60运行一次
      'args': (23, 12),
    }
  }
)
@app.task
def add(x, y):
return x + y

然后先通过`ctrl+c`停掉前一个worker，因为我们代码改了，需要重启worker才会生效。我们再次以`celery -A tasks worker -l info`这个命令开启worker。

这个时候我们只是开启了worker，如果要让worker执行任务，那么还需要通过beat给它定时发送，我们再开一个命令行，切换到项目根目录，通过

celery beat -A tasks -l info

celery beat v3.1.25 (Cipater) is starting. 

__ - ... __ - _

Configuration ->
. broker -> redis://223.129.0.190:6379/2
. loader -> celery.loaders.app.AppLoader
. scheduler -> celery.beat.PersistentScheduler
. db -> celerybeat-schedule
. logfile -> [stderr]@%INFO
. maxinterval -> now (0s)
[2017-05-19 15:56:57,125: INFO/MainProcess] beat: Starting...

这样就表示定时任务已经开始运行了。

到此这篇关于celery在python爬虫中定时操作实例讲解的文章就介绍到这了,更多相关celery如何在python爬虫中进行定时操作内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

相关文章

  • 全面解析python当前路径和导包路径问题

    全面解析python当前路径和导包路径问题

    这篇文章主要为大家介绍了python当前路径和导包路径问题的全面解析，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
    2023-05-05
  • Python编码规范摆脱Python编码噩梦

    Python编码规范摆脱Python编码噩梦

    Python 中编码问题，一直是很多 Python 开发者的噩梦，尽管你是工作多年的 Python 开发者，也肯定会经常遇到令人神烦的编码问题，收藏这篇文章以后你可以不用再Google
    2021-10-10
  • Python3实现从指定路径查找文件的方法

    Python3实现从指定路径查找文件的方法

    这篇文章主要介绍了Python3实现从指定路径查找文件的方法,涉及Python目录与文件的相关操作技巧,需要的朋友可以参考下
    2015-05-05
  • AI与Python人工智能启发式搜索概念理解

    AI与Python人工智能启发式搜索概念理解

    这篇文章主要为大家介绍了AI与Python启发式搜索概念详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
    2022-05-05
  • Selenium webdriver添加cookie实现过程详解

    Selenium webdriver添加cookie实现过程详解

    这篇文章主要介绍了Selenium webdriver添加cookie实现过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-08-08
  • python实现的登陆Discuz!论坛通用代码分享

    python实现的登陆Discuz!论坛通用代码分享

    这篇文章主要介绍了python实现的登陆Discuz!论坛通用代码分享,需要的朋友可以参考下
    2014-07-07
  • 使用实现pandas读取csv文件指定的前几行

    使用实现pandas读取csv文件指定的前几行

    下面小编就为大家分享一篇使用实现pandas读取csv文件指定的前几行，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2018-04-04
  • Python正则表达式知识汇总

    Python正则表达式知识汇总

    本文介绍了Python正则表达式的相关基础知识，本文的内容不包括如何编写高效的正则表达式、如何优化正则表达式，这些主题请查看其他教程。
    2017-09-09
  • python教程之进程和线程

    python教程之进程和线程

    这篇文章主要为大家介绍了python进程和线程，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助
    2022-01-01
  • VSCode安装Django插件后实现html语法提示的方法步骤

    VSCode安装Django插件后实现html语法提示的方法步骤

    Vscode是微软推出的一款优秀的ide开发工具,界面简洁美观、默认支持中文,拥有丰富的插件,支持Windows,OS X和Linux,下面这篇文章主要给大家介绍了关于VSCode安装Django插件后实现html语法提示的方法步骤,需要的朋友可以参考下
    2022-08-08

最新评论