tornado+celery的简单使用详解

 更新时间:2019年12月21日 11:06:55   作者:github_25679381  
今天小编就为大家分享一篇tornado+celery的简单使用详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

celery是实现一个简单,灵活可靠的分布式任务队列系统的好选择

tornado则不用过多介绍

在开发机上安装rabbitmq这里就不介绍了

首先是task文件的编写

task.py

#coding=utf-8
from celery import Celery
from celery.bin import worker as celery_worker
import celeryconfig

broker = 'amqp://'
backend = 'amqp'
app = Celery('celery_test', backend=backend, broker=broker)
app.config_from_object(celeryconfig)

@app.task
def mytask0(task_name):
  print "task0:%s" %task_name
  return task_name 

@app.task
def mytask1(task_name):
  print "task1:%s" %task_name
  return task_name 

def worker_start():
  worker = celery_worker.worker(app=app)
  worker.run(broker=broker, concurrency=4,
        traceback=False, loglevel='INFO')

if __name__ == "__main__":
  worker_start()

celeryconfig.py文件中包含对celery的配置

#coding=utf-8
from kombu import Queue
CELERY_DEFAULT_QUEUE = 'mytask0'
CELERY_QUEUES = (
  Queue('mytask0',  routing_key='task.mytask0'),
  Queue('mytask1',  routing_key='task.mytask1'),
)
CELERY_DEFAULT_EXCHANGE_TYPE = 'direct'
CELERY_DEFAULT_ROUTING_KEY = 'task.mytask0'
CELERY_TIMEZONE = 'Asia/Shanghai'
CELERY_ROUTES = {
  'task.mytask0': {
    'queue': 'mytask0',
    'routing_key': 'task.mytask0',
  },
  'task.mytask1': {
    'queue': 'mytask1',
    'routing_key': 'task.mytask1',
  },
}

执行python task.py将会启动worker

tornado调用celery将阻塞任务变为非阻塞

这会使用到tcelery模块,即tornado下的一个非阻塞的broker实现

app.py

#coding=utf-8
from tornado import web
import task

class TestHandler(tornado.web.RequestHandler):

  @web.asynchronous
  def get(self):
    task.mytask0.apply_async(
      args=['task0'],
         queue='mytask0',
         routing_key='task.mytask0',
         callback=self.on_success)
  def on_success(self, result):
    self.finish({'task':result.result})

start.py

用于实现tornado服务的启动

#coding=utf-8
import tornado
from tornado.options import define, options, parse_command_line
from tornado.log import enable_pretty_logging
import tcelery
from app import TestHandler
import tornado.httpserver

define("port", default=8000, help="run on the given port", type=int)
define("debug", default=False, help="run in debug mode")

urls = [(r"/api/task/test", TestHandler)]

def server_start():
  app = tornado.web.Application(urls, debug=options.debug)
  enable_pretty_logging()
  parse_command_line()
  server = tornado.httpserver.HTTPServer(app)
  server.bind(options.port)
  server.start(2)
  tcelery.setup_nonblocking_producer(limit=2)
  tornado.ioloop.IOLoop.current().start()

if __name__ == "__main__":
  server_start()

执行python start.py即可启动服务

以上这篇tornado+celery的简单使用详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Python sns.distplot()方法的使用方法

    Python sns.distplot()方法的使用方法

    机器学习中经常会用到图形进行可视化,如在网格搜索(GridSearch)后对特征的重要性进行排序时,用到sns.barplot()函数按照重要程度输出特征,这篇文章主要给大家介绍了关于Python sns.distplot()方法的使用方法,需要的朋友可以参考下
    2022-03-03
  • Python实现中文文本关键词抽取的三种方法

    Python实现中文文本关键词抽取的三种方法

    文本关键词抽取,是对文本信息进行高度凝练的一种有效手段,通过3-5个词语准确概括文本的主题,帮助读者快速理解文本信息,本文分别采用TF-IDF方法、TextRank方法和Word2Vec词聚类方法,利用Python语言进行开发,实现文本关键词的抽取,需要的朋友可以参考下
    2024-01-01
  • 详解K-means算法在Python中的实现

    详解K-means算法在Python中的实现

    这篇文章主要介绍了详解K-means算法在Python中的实现,具有一定借鉴价值,需要的朋友可以了解下。
    2017-12-12
  • 使用PDB简单调试Python程序简明指南

    使用PDB简单调试Python程序简明指南

    这篇文章主要介绍了使用PDB简单调试Python程序简明指南,本文讲解了使用PDB调试程序的简单技巧,方便、简洁实用,需要的朋友可以参考下
    2015-04-04
  • 使用Python实现图像颜色量化的方法

    使用Python实现图像颜色量化的方法

    这篇文章主要介绍了使用Python进行图像颜色量化,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2022-06-06
  • python的open函数使用案例代码

    python的open函数使用案例代码

    python打开文件使用open()函数,返回一个指向文件的指针,在python中使用open函数对文件进行处理,这篇文章主要介绍了python中的open函数使用,需要的朋友可以参考下
    2023-02-02
  • Django RBAC权限管理设计过程详解

    Django RBAC权限管理设计过程详解

    这篇文章主要介绍了Django RBAC权限管理设计过程详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-08-08
  • 对于Python深浅拷贝的理解

    对于Python深浅拷贝的理解

    这篇文章主要介绍了对于Python深浅拷贝的理解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-07-07
  • python不等于运算符的具体使用

    python不等于运算符的具体使用

    在Python语言中,用 != 表示不等于,本文主要介绍了python不等于运算符的具体使用,文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2021-12-12
  • python数组的复制与列表中的pop

    python数组的复制与列表中的pop

    这篇文章主要介绍了python数组的复制与列表中的pop, Python 中复制数组有只需使用赋值运算符、浅拷贝、深拷贝三种方法,下文详细内容需要的小伙伴可以参考一下
    2022-04-04

最新评论