浅析python实现scrapy定时执行爬虫
更新时间：2018年03月04日 11:03:39 投稿：mrr
这篇文章主要介绍了浅析python实现scrapy定时执行爬虫的相关资料,需要的朋友可以参考下
项目需要程序能够放在超算中心定时运行，于是针对scrapy写了一个定时爬虫的程序main.py ，直接放在scrapy的存储代码的目录中就能设定时间定时多次执行。
最简单的方法：直接使用Timer类
import time
import os
while True:
os.system("scrapy crawl News")
time.sleep(86400) #每隔一天运行一次 24*60*60=86400s或者，使用标准库的sched模块
import sched
#初始化sched模块的scheduler类
#第一个参数是一个可以返回时间戳的函数，第二个参数可以在定时未到达之前阻塞。
schedule = sched.scheduler ( time.time, time.sleep )
#被周期性调度触发的函数
def func():
os.system("scrapy crawl News")
def perform1(inc):
schedule.enter(inc,0,perform1,(inc,))
func() # 需要周期执行的函数
def mymain():
schedule.enter(0,0,perform1,(86400,))
if __name__=="__main__":
mymain()
schedule.run() # 开始运行，直到计划时间队列变成空为止关于cmd的实现方法，本人在单次执行爬虫程序时使用的是
cmdline.execute("scrapy crawl News".split())但可能因为cmdline是scrapy模块中自带的，所以定时执行时只能执行一次就退出了。
小伙伴有种方法是使用
import subprocess
subprocess.Popen("scrapy crawl News")
她的程序运行正常可以定时多次执行，而我的却直接退出了，改为
from subprocess import Popen
subprocess.Popen("scrapy crawl News")
才正常，不知道为什么会这样，如果有大神可以解释原因还请指点。
反正
os.system、subprocess.Popen
都是pythoncmd的实现方法，可以根据需要选择使用。
总结
以上所述是小编给大家介绍的python实现scrapy定时执行爬虫，希望对大家有所帮助，如果大家有任何疑问欢迎给我留言，小编会及时回复大家的！
您可能感兴趣的文章:
- Python爬虫框架Scrapy安装使用步骤
- 零基础写python爬虫之使用Scrapy框架编写爬虫
- 使用scrapy实现爬网站例子和实现网络爬虫(蜘蛛)的步骤
- scrapy爬虫完整实例
- 深入剖析Python的爬虫框架Scrapy的结构与运作流程
- 讲解Python的Scrapy爬虫框架使用代理进行采集的方法
- Python使用Scrapy爬虫框架全站爬取图片并保存本地的实现代码
- Python的Scrapy爬虫框架简单学习笔记
- 实践Python的爬虫框架Scrapy来抓取豆瓣电影TOP250
- 使用Python的Scrapy框架编写web爬虫的简单示例
- python爬虫框架scrapy实战之爬取京东商城进阶篇
- Scrapy爬虫多线程导致抓取错乱的问题解决
相关文章
这篇文章主要介绍了简单介绍利用TK在Python下进行GUI编程的教程,本文来自于IBM官方开发者技术文档,需要的朋友可以参考下2015-04-04
这篇文章主要为大家详细介绍了如何利用Python编程语言和wxPython模块,打开指定文件夹中的DOC文档,并将它们的内容合并成一个便捷的TXT文档,需要的可以参考下2024-03-03
这篇文章主要介绍了python3.6之xlwt如何设置单元格对齐方式，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2023-06-06
这篇文章主要介绍了Python pytest.main()运行测试用例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习吧2022-12-12
Flask 的扩展包 Flask - Mail 通过包装了 Python 内置的smtplib包，可以用在 Flask 程序中发送邮件。本文将利用这特性实现邮件发送功能，感兴趣的可以了解一下2022-08-08
这篇文章主要介绍了np.dot()函数的用法详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-01-01
这篇文章主要为大家详细介绍了python实现静态服务器，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2019-09-09
这篇文章主要介绍了用Python解数独的方法示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-10-10
我们在工作中经常需要用python对文本文件进行内容的读取和写入,下面这篇文章主要给大家介绍了关于Python文件打开读取写入方法的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下2023-05-05
这篇文章主要介绍了python 常见字符串与函数的用法,本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下2018-11-11
最新评论