Python while true实现爬虫定时任务
更新时间：2020年06月08日 11:33:42 作者：战俘巡航
这篇文章主要介绍了Python爬虫定时任务简单实现,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
记得以前的windows 任务定时是可以的正常使用的，今天试了下，发现不能正常使用了，任务计划总是挂起。
接下来记录下python 爬虫定时任务的几种解决方法。
今天是第一篇，后面会陆续更新。
首先最容易的是while true死循环挂起，上代码
import osimport timeimport sysfrom datetime import datetime, timedelta
def One_Plan():
# 设置启动周期
Second_update_time = 24 * 60 * 60
# 当前时间
now_Time = datetime.now()
# 设置 任务启动时间
plan_Time = now_Time.replace(hour=9, minute=0, second=0, microsecond=0)
# 设置差值，-1 day, 21:48:53.246576，类似于这样
# time.sleep()需要传入int，所以下面使用.total_seconds()
# 主要用来计算差值，返回int，具体功能可以自行查阅相关资料
delta = plan_Time - now_Time
first_plan_Time = delta.total_seconds() % Second_update_time
print("距离第一次执行需要睡眠%d秒" % first_plan_Time)
return first_plan_Time
# while Ture代码块，挂起程序，睡眠时间结束后调用函数名进行执行
while True:
s1 = One_Plan()
time.sleep(s1)
# 下面这里是自己定义的函数，想跑代码的可以换成hellow world函数或者注释掉这行测试下
exe_file(D_list)
print("正在执行首次更新程序")
个人感觉使用这种方式进行定时计划的启动如果为单个程序，并且一天执行一次的话没什么问题，如果要考虑到一天执行多个任务并且一天需要执行多次，短板一下就凸显出来了，
在工作的情况中还需要考虑到很多因素，比如爬虫程序需要在晚上12点和早上6点，9点，下午3点执行四次，并且需要同时执行4个爬虫，还需要考虑到网络是否稳定，如果程序挂掉该怎么处理等等因素
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
通过本文的介绍,相信你已经对PyQt5中的QPushButton控件有了深入的了解,从基础介绍到常用属性和方法,再到应用场景和样式定制,本文为你提供了全面的指南,感兴趣的朋友跟随小编一起看看吧2024-08-08
Python Request爬取seo.chinaz.com百度权重网站的查询结果过程解析
这篇文章主要介绍了Request爬取网站（seo.chinaz.com）百度权重的查询结果过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-08-08
这篇文章主要介绍了在Python的Django框架中使用通用视图的方法,同时提到了相关的安全问题，需要的朋友可以参考下2015-07-07
@符号用做函数的修饰符,可以在模块或者类的定义层内对函数进行修饰,下面这篇文章主要给大家介绍了关于Python中@符号是什么意思的相关资料,需要的朋友可以参考下2021-09-09
这篇文章主要介绍了python使用正则表达式分析网页中的图片并进行替换的方法,涉及Python使用正则表达式的技巧,具有一定参考借鉴价值,需要的朋友可以参考下2015-03-03
这篇文章主要介绍了python yield和Generator函数用法详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-02-02
这篇文章主要介绍了基于Python制作一个恋爱对话小程序，文章详细介绍了小程序的实现过程，感兴趣的小伙伴可以跟随小编一起学习学习2022-01-01
这篇文章主要介绍了Pytorch高阶OP操作where，gather原理,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-04-04
这篇文章主要为大家详细介绍了win8下python3.4安装和环境配置图文教程，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-07-07
Visdom 是一个专门用于 PyTorch 的交互式可视化工具,可以对实时数据进行丰富的可视化,帮助我们实时监控在远程服务器上进行的科学实验,这篇文章主要给大家介绍了关于Pytorch可视化之Visdom使用的相关资料,需要的朋友可以参考下2021-08-08
最新评论