python中BackgroundScheduler和BlockingScheduler的区别

 更新时间:2021年07月28日 15:37:05   作者:属于自己的世界  
这篇文章主要介绍了python中BackgroundScheduler和BlockingScheduler的区别,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

APScheduler最基本的用法: “定时几秒后启动job”
两种调度器: BackgroundScheduler和BlockingScheduler的区别,
job执行时间大于定时调度时间特殊情况的问题及解决方法
每个job都会以thread的方式被调度。

1、基本的定时调度

APScheduler是python的一个定时任务调度框架,能实现类似linux下crontab类型的任务,使用起来比较方便。它提供基于固定时间间隔、日期以及crontab配置类似的任务调度,并可以持久化任务,或将任务以daemon方式运行。

下面是一个最基本的使用示例:

from apscheduler.schedulers.blocking import BlockingScheduler

def job():
    print('job 3s')

if __name__=='__main__':
    sched = BlockingScheduler(timezone='MST')
    sched.add_job(job, 'interval', id='3_second_job', seconds=3)
    sched.start()

它能实现每隔3s就调度job()运行一次,所以程序每隔3s就输出'job 3s'。通过修改add_job()的参数seconds,就可以改变任务调度的间隔时间。

2、BlockingScheduler与BackgroundScheduler区别

APScheduler中有很多种不同类型的调度器,BlockingScheduler与BackgroundScheduler是其中最常用的两种调度器。那他们之间有什么区别呢? 简单来说,区别主要在于BlockingScheduler会阻塞主线程的运行,而BackgroundScheduler不会阻塞。所以,我们在不同的情况下,选择不同的调度器:

BlockingScheduler: 调用start函数后会阻塞当前线程。当调度器是你应用中唯一要运行的东西时(如上例)使用。
BackgroundScheduler: 调用start后主线程不会阻塞。当你不运行任何其他框架时使用,并希望调度器在你应用的后台执行。
下面用两个例子来更直观的说明两者的区别。

BlockingScheduler例子

from apscheduler.schedulers.blocking import BlockingScheduler
import time

def job():
    print('job 3s')


if __name__=='__main__':

    sched = BlockingScheduler(timezone='MST')
    sched.add_job(job, 'interval', id='3_second_job', seconds=3)
    sched.start()

    while(True): # 不会被执行到
        print('main 1s')
        time.sleep(1)

运行这个程序,我们得到如下的输出:

job 3s
job 3s
job 3s
job 3s 

可见,BlockingScheduler调用start函数后会阻塞当前线程,导致主程序中while循环不会被执行到。

BackgroundScheduler例子

from apscheduler.schedulers.background import BackgroundScheduler
import time

def job():
    print('job 3s')


if __name__=='__main__':

    sched = BackgroundScheduler(timezone='MST')
    sched.add_job(job, 'interval', id='3_second_job', seconds=3)
    sched.start()

    while(True):
        print('main 1s')
        time.sleep(1)

可见,BackgroundScheduler调用start函数后并不会阻塞当前线程,所以可以继续执行主程序中while循环的逻辑。

main 1s
main 1s
main 1s
job 3s
main 1s
main 1s
main 1s
job 3s 

通过这个输出,我们也可以发现,调用start函数后,job()并不会立即开始执行。而是等待3s后,才会被调度执行。
如何让job在start()后就开始运行
如何才能让调度器调用start函数后,job()就立即开始执行呢?

其实APScheduler并没有提供很好的方法来解决这个问题,但有一种最简单的方式,就是在调度器start之前,就运行一次job(),如下

from apscheduler.schedulers.background import BackgroundScheduler
import time

def job():
    print('job 3s')


if __name__=='__main__':
    job() # 执行一次就好了哟
    sched = BackgroundScheduler(timezone='MST')
    sched.add_job(job, 'interval', id='3_second_job', seconds=3)
    sched.start()

    while(True):
        print('main 1s')
        time.sleep(1)

这样就能得到如下的输出

job 3s
main 1s
main 1s
main 1s
job 3s
main 1s
main 1s
main 1s

这样虽然没有绝对做到“让job在start()后就开始运行”,但也能做到“不等待调度,而是刚开始就运行job”。

如果job执行时间过长会怎么样
如果执行job()的时间需要5s,但调度器配置为每隔3s就调用一下job(),会发生什么情况呢?我们写了如下例子:

from apscheduler.schedulers.background import BackgroundScheduler
import time

def job():
    print('job 3s')
    time.sleep(5)

if __name__=='__main__':

    sched = BackgroundScheduler(timezone='MST')
    sched.add_job(job, 'interval', id='3_second_job', seconds=3)
    sched.start()

    while(True):
        print('main 1s')
        time.sleep(1)

运行这个程序,我们得到如下的输出:

main 1s
main 1s
main 1s
job 3s
main 1s
main 1s
main 1s
Execution of job "job (trigger: interval[0:00:03], next run at: 2018-05-07 02:44:29 MST)" skipped: maximum number of running instances reached (1)
main 1s
main 1s
main 1s
job 3s
main 1s

可见,3s时间到达后,并不会“重新启动一个job线程”,而是会跳过该次调度,等到下一个周期(再等待3s),又重新调度job()。

为了能让多个job()同时运行,我们也可以配置调度器的参数max_instances,如下例,我们允许2个job()同时运行:

from apscheduler.schedulers.background import BackgroundScheduler
import time

def job():
    print('job 3s')
    time.sleep(5)

if __name__=='__main__':
    job_defaults = { 'max_instances': 2 }
    sched = BackgroundScheduler(timezone='MST', job_defaults=job_defaults)
    sched.add_job(job, 'interval', id='3_second_job', seconds=3)
    sched.start()

    while(True):
        print('main 1s')
        time.sleep(1)

运行程序,我们得到如下的输出:

main 1s
main 1s
main 1s
job 3s
main 1s
main 1s
main 1s
job 3s
main 1s
main 1s
main 1s
job 3s

每个job是怎么被调度的

通过上面的例子,我们发现,调度器是定时调度job()函数,来实现调度的。

那job()函数会被以进程的方式调度运行,还是以线程来运行呢?

为了弄清这个问题,我们写了如下程序:

from apscheduler.schedulers.background import BackgroundScheduler
import time,os,threading

def job():
    print('job thread_id-{0}, process_id-{1}'.format(threading.get_ident(), os.getpid()))
    time.sleep(50)

if __name__=='__main__':
    job_defaults = { 'max_instances': 20 }
    sched = BackgroundScheduler(timezone='MST', job_defaults=job_defaults)
    sched.add_job(job, 'interval', id='3_second_job', seconds=3)
    sched.start()

    while(True):
        print('main 1s')
        time.sleep(1)

运行程序,我们得到如下的输出:

main 1s
main 1s
main 1s
job thread_id-10644, process_id-8872
main 1s
main 1s
main 1s
job thread_id-3024, process_id-8872
main 1s
main 1s
main 1s
job thread_id-6728, process_id-8872
main 1s
main 1s
main 1s
job thread_id-11716, process_id-8872

可见,每个job()的进程ID都相同,但线程ID不同。所以,job()最终是以线程的方式被调度执行。

到此这篇关于python中BackgroundScheduler和BlockingScheduler的区别 的文章就介绍到这了,更多相关python BackgroundScheduler BlockingScheduler内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • pd.read_csv读取文件路径出现的问题解决

    pd.read_csv读取文件路径出现的问题解决

    本文主要介绍了pd.read_csv读取文件路径出现的问题解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2022-06-06
  • python数据可视化之matplotlib.pyplot基础以及折线图

    python数据可视化之matplotlib.pyplot基础以及折线图

    不论是数据挖掘还是数据建模,都免不了数据可视化的问题,对于Python来说,Matplotlib是最著名的绘图库,它主要用于二维绘图,这篇文章主要给大家介绍了关于python数据可视化之matplotlib.pyplot基础以及折线图的相关资料,需要的朋友可以参考下
    2021-07-07
  • Python中matplotlib库安装失败的经验总结(附pycharm配置anaconda)

    Python中matplotlib库安装失败的经验总结(附pycharm配置anaconda)

    最近根据领导布置的学习任务,开始学习python中的matplotlib,朋友告诉我这个很简单,然而刚踏入安装的门槛,就遇到了安装不成功的问题,下面这篇文章主要给大家介绍了关于Python中matplotlib库安装失败的经验总结,需要的朋友可以参考下
    2022-08-08
  • 如何基于Python制作有道翻译小工具

    如何基于Python制作有道翻译小工具

    这篇文章主要介绍了如何基于Python制作有道翻译小工具,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-12-12
  • 使用Python http.server模块共享文件的方法详解

    使用Python http.server模块共享文件的方法详解

    大家好,今天给大家介绍一下Python标准库中的http.server模块,这个模块提供了一种简单的方式来快速启动一个HTTP服务器,文中给大家介绍了使用Python http.server模块共享文件的方法,需要的朋友可以参考下
    2024-05-05
  • 使用Python代码实现Linux中的ls遍历目录命令的实例代码

    使用Python代码实现Linux中的ls遍历目录命令的实例代码

    这次我就要试着用 Python 来实现一下 Linux 中的 ls 命令, 小小地证明下 Python 的不简单,需要的朋友可以参考下
    2019-09-09
  • Python实战之异步获取中国天气信息

    Python实战之异步获取中国天气信息

    这篇文章主要介绍了如何利用Python爬虫异步获取天气信息,用的API是中国天气网。文中的示例代码讲解详细,感兴趣的小伙伴可以动手试一试
    2022-03-03
  • Python实现检测文件MD5值的方法示例

    Python实现检测文件MD5值的方法示例

    这篇文章主要介绍了Python实现检测文件MD5值的方法,涉及Python针对大文件的读取、判断、运算、加密等相关操作技巧,需要的朋友可以参考下
    2018-04-04
  • python初学之用户登录的实现过程(实例讲解)

    python初学之用户登录的实现过程(实例讲解)

    下面小编就为大家分享一篇python初学之用户登录的实现过程(实例讲解),具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2017-12-12
  • Python Django的安装配置教程图文详解

    Python Django的安装配置教程图文详解

    Django是一个开放源代码的Web应用框架,由Python写成,Django是重量级选手中最有代表性的一位。许多成功的网站和APP都基于Django。这篇文章主要介绍了Python Django的安装配置,需要的朋友可以参考下
    2019-07-07

最新评论