脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → Python使用Supervisor进程监控及自动启动

使用Python的Supervisor进行进程监控以及自动启动

 更新时间：2014年05月29日 12:10:28   作者：  
这篇文章主要介绍了使用Python的Supervisor进行进程监控以及自动启动,使用python supervisor实现,需要的朋友可以参考下

做服务器端开发的同学应该都对进程监控不会陌生，最近恰好要更换 uwsgi 为 gunicorn，而gunicorn又恰好有这么一章讲进程监控，所以多研究了下。

结合之前在腾讯工作的经验，也会讲讲腾讯的服务器监控是怎么做的。同时也会讲下小团队又该怎么敏捷的解决。

下面按照监控的方法依次介绍。

一、按照进程名监控

在腾讯内部所有server都是要打包发布的，而在打包过程中是需要填写要监控的进程名，然后在crontab中定时通过ps查询进程是否存在。

这种方法是比较简单的方法，但是考虑到很多进程会在启动之后改名，以及进程名存在各种特殊字符，多个进程同时存在的问题，实际操作起来并不是很舒服。

举个简单的例子，gunicorn启动之后的进程名类似这样 master: [wsgi:app]，其中的方括号在grep时要记得转义，否则就会出问题。

不过不管怎么说，这种方法在很多其他方式用不了的时候反而是最简单的方法。

下面是用python的实现：

复制代码 代码如下:

def monitor_process(key_word, cmd):
    p1 = subprocess.Popen(['ps', '-ef'], stdout=subprocess.PIPE)
    p2 = subprocess.Popen(['grep', key_word], stdin=p1.stdout, stdout=subprocess.PIPE)
    p3 = subprocess.Popen(['grep', '-v', 'grep'], stdin=p2.stdout, stdout=subprocess.PIPE)

    lines = p3.stdout.readlines()
    if len(lines) > 0:
        return

    sys.stderr.write('process[%s] is lost, run [%s]\n' % (key_word, cmd))
    subprocess.call(cmd, shell=True)

二、按照端口监控

这种方式之前在腾讯打包的时候也有用，但是可能是进程名更直观的原因吧，貌似一直没怎么用起来。

不过现在自己在做包部署的时候，反而觉得端口监控是个最靠谱的事情了。这个也没什么好多说的，直接上刚写完的python代码：

复制代码 代码如下:

def monitor_port(protocol, port, cmd):
    address = ('127.0.0.1', port)
    socket_type = socket.SOCK_STREAM if protocol == 'tcp' else socket.SOCK_DGRAM
    client = socket.socket(socket.AF_INET, socket_type)

    try:
        client.bind(address)
    except Exception, e:
        pass
    else:
        sys.stderr.write('port[%s-%s] is lost, run [%s]\n' % (protocol, port, cmd))
        subprocess.call(cmd, shell=True)
    finally:
        client.close()

有的朋友可能说对于tcp端口检查，其实以client的方式来connect()看是否成功会不会更好？其实我觉得这种方式也挺好的，并且对于不同的协议可以再深入处理一下，比如对http协议可以用urllib2.urlopen确保返回正确的包才算正常。不过如果这么做的话，就有点偏黑盒监控 了，比如监控宝、阿里云监控之类的服务了。

三、通过监控server启动进程，并以监控子进程的方式监控

这个也是在gunicorn页面上看到的，说起来gunicorn很不厚道的把gaffer放到第一个，让我还以为是个很成熟的产品，结果发现连启动都是个问题。

相反排在后面的supervisor反而相当的好用，下面是截图：



supervisor可以很方便的管理进程，包括重启，停止等等，而且提供了web界面和用户验证，可以很方便的在线管理。

但是有好处就有坏处，用了supervisor之后，就不能自己随便的去自己重启服务了，否则会影响supervisor的监控，这对我这种喜欢自己执行 xx.sh restart 的人实在有点太痛苦了。当然，其实要是习惯了去supervisorctl 里面start/stop/reload 之后也就还好了。

用supervisor配置gunicorn的配置项如下：

复制代码 代码如下:

[program:yuanzhaopin]
environment=PYTHON_EGG_CACHE=/tmp/.python-eggs/,PYTHONPATH=/data/release/yuanzhaopin
command=/usr/local/bin/gunicorn --debug --log-level debug --log-file /tmp/g.log wsgi:app
user=zny2008
autorestart=true
redirect_stderr=true

ok，目前自己常用的就是这几种模式了，大家如果有其他选择欢迎留言讨论。

完整代码如下:

复制代码 代码如下:

#!/usr/bin/env python
# -*- coding: utf-8 -*-

#*/1 * * * * python /xxx/monitor.py >> /xxx/logs/monitor.log 2>&1  &

import sys
import subprocess
import os.path as op
import socket

def this_abs_path(script_name):
    return op.abspath(op.join(op.dirname(__file__), script_name))


def monitor_process(key_word, cmd):
    p1 = subprocess.Popen(['ps', '-ef'], stdout=subprocess.PIPE)
    p2 = subprocess.Popen(['grep', key_word], stdin=p1.stdout, stdout=subprocess.PIPE)
    p3 = subprocess.Popen(['grep', '-v', 'grep'], stdin=p2.stdout, stdout=subprocess.PIPE)

    lines = p3.stdout.readlines()
    if len(lines) > 0:
        return

    sys.stderr.write('process[%s] is lost, run [%s]\n' % (key_word, cmd))
    subprocess.call(cmd, shell=True)


def monitor_port(protocol, port, cmd):
    address = ('127.0.0.1', port)
    socket_type = socket.SOCK_STREAM if protocol == 'tcp' else socket.SOCK_DGRAM
    client = socket.socket(socket.AF_INET, socket_type)

    try:
        client.bind(address)
    except Exception, e:
        pass
    else:
        sys.stderr.write('port[%s-%s] is lost, run [%s]\n' % (protocol, port, cmd))
        subprocess.call(cmd, shell=True)
    finally:
        client.close()


#=============================================================================
def yuanzhaopin():
    cmd = '%s start' % this_abs_path('gun.sh')
    #monitor_process('\[yuanzhaopin\]', cmd)
    monitor_port('tcp', 8635, cmd)


def main():
    yuanzhaopin()


if __name__ == '__main__':
    main()

您可能感兴趣的文章:

相关文章

  • CentOS 7下安装Python 3.5并与Python2.7兼容并存详解

    CentOS 7下安装Python 3.5并与Python2.7兼容并存详解

    这篇文章主要给大家介绍了在CentOS 7下安装Python 3.5并与Python2.7兼容并存的相关资料，文中将安装步骤介绍的非常详细，对大家具有一定的参考学习价值，需要的朋友们下面跟着小编来一起学习学习吧。
    2017-07-07
  • 深度解读Python如何实现dbscan算法

    深度解读Python如何实现dbscan算法

    DBScan 是密度基于空间聚类，它是一种基于密度的聚类算法，其与其他聚类算法（如K-Means）不同的是，它不需要事先知道簇的数量。本文就来带大家了解一下Python是如何实现dbscan算法，感兴趣的可以了解一下
    2023-02-02
  • python3 enum模块的应用实例详解

    python3 enum模块的应用实例详解

    这篇文章主要介绍了python3 enum模块的应用 ，文中提到了字典类型的缺点及特点，本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-08-08
  • 自定义django admin model表单提交的例子

    自定义django admin model表单提交的例子

    今天小编就为大家分享一篇自定义django admin model表单提交的例子，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2019-08-08
  • jupyter notebook使用argparse传入list参数

    jupyter notebook使用argparse传入list参数

    这篇文章主要介绍了jupyter notebook使用argparse传入list参数，jupyter notebook其实是可以使用 argparse来调用参数的，只要把参数转为list即可，下面来看看具体的实现过程吧
    2022-01-01
  • Python封装adb命令的操作详解

    Python封装adb命令的操作详解

    在日常的 Android 项目开发中,我们通常会使用 adb 命令来获取连接设备的内存、屏幕、CPU等信息,这些信息的获取,每次都在command 中输入相关命令进行重复的操作让人感到厌倦和疲乏,现在,可以尝试使用 python 来简化这一部分工作,所以本文介绍了Python封装adb命令的操作
    2024-01-01
  • Python 中 key 参数的含义及用法小结

    Python 中 key 参数的含义及用法小结

    我们在使用 sorted() 或 map() 函数的时候，都会看到里面有一个 key 参数，其实这个 key 参数也存在于其他内置函数中（例如 min()、max() 等），那么我们今天就来了解一下 key 参数的含义以及用途吧,需要的朋友可以参考下
    2023-12-12
  • Python字符串匹配之6种方法的使用详解

    Python字符串匹配之6种方法的使用详解

    这篇文章主要介绍了Python字符串匹配之6种方法的使用详解，在文末给大家提到了python正则表达的说明，感兴趣的朋友跟随小编一起学习吧
    2019-04-04
  • 使用Python来开发微信功能

    使用Python来开发微信功能

    这篇文章主要介绍了使用Python来开发微信功能,本文给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下
    2018-06-06
  • PyCharm+PySpark远程调试的环境配置的方法

    PyCharm+PySpark远程调试的环境配置的方法

    今天小编就为大家分享一篇PyCharm+PySpark远程调试的环境配置的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2018-11-11

最新评论