Python写的一个定时重跑获取数据库数据
更新时间：2016年12月28日 10:03:21 投稿：mrr
本文给大家分享基于python写的一个定时重跑获取数据库数据的方法，非常不错，具有参考借鉴价值，需要的朋友参考下
做大数据的童鞋经常会写定时任务跑数据，由于任务之间的依赖（一般都是下游依赖上游的数据产出），所以经常会导致数据获取失败，因为很多人发现数据失败后
都会去查看日志，然后手动去执行自己的任务。下面我实现了一个自动重复执行去数据库取数，如果失败后自动重新去获取，直到把数据获取到。
建数据表：
CREATE TABLE `testtable` ( 2 `id` int(11) unsigned NOT NULL AUTO_INCREMENT, 3 `name` varchar(20) NOT NULL, 4 PRIMARY KEY (`id`) 5 ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;
开始的时候数据表是空的，等到脚本重试第3秒的时候像数据库插入数据。
以下是python代码的实现
#!/usr/bin/env python #-*- coning:utf-8 -*- 3 4 import MySQLdb 5 from time import sleep 6 7 class GetData(object): 8 def __init__(self): 9 self.conn = '' 10 self.host = '127.0.0.1' 11 self.port = 3306 12 self.user = 'root' 13 self.passwd = '123456' 14 self.db = 'test' 15 self.cnum = 5 #set retry number 16 17 def init_connect(self): 18 self.conn = MySQLdb.connect(host=self.host, user=self.user, passwd=self.passwd, db=self.db, port=self.port, 19 charset='utf8') 20 21 def get_data(self): 22 self.init_connect 23 cur = self.conn.cursor 24 sql = "select * from testtable" 25 cur.execute(sql) 26 rs = cur.fetchall 27 cur.close 28 self.conn.close 29 return rs 30 31 def run(self): 32 count = 1 33 while (count <= self.cnum): 34 rs = self.get_data 35 if len(rs) > 0: 36 print len(rs) 37 break 38 39 print count 40 sleep(10) 41 count += 1 42 43 if __name__ == '__main__': 44 gd = GetData 45 gd.run
自己可以手动执行，在代码执行到第3秒的时候，执行下面的sql
insert into testtable(`name`) values ('123'),('456'),('789'),('1111'),('3222'),('444');
下面是定时的任务的脚本
00 08 * * * cd /home/python/lsh_sync; python getdata.py >> getdata.log 2>&1
以上所述是小编给大家介绍的Python写的一个定时重跑获取数据库数据，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持！
相关文章
Python实现爬虫抓取与读写、追加到excel文件操作示例
这篇文章主要介绍了Python实现爬虫抓取与读写、追加到excel文件操作,结合具体实例形式分析了Python针对糗事百科的抓取与Excel文件读写相关操作技巧,需要的朋友可以参考下2018-06-06
关于Python不换行输出和不换行输出end=““不显示的问题(亲测已解决)
这篇文章主要介绍了关于Python不换行输出和不换行输出end=““不显示的问题(亲测已解决),本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2020-10-10
这篇文章主要介绍了用python制作个论文下载器(图形化界面)，帮助大家更好的理解和学习使用python，感兴趣的朋友可以了解下2021-03-03
这篇文章主要介绍了简单了解Python3 bytes和str类型的区别和联系,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-12-12
pandas报错AttributeError: DataFrame object has&
这篇文章主要介绍了pandas报错AttributeError: DataFrame object has no attribute ix问题及解决,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-02-02
python基于BeautifulSoup实现抓取网页指定内容的方法
这篇文章主要介绍了python基于BeautifulSoup实现抓取网页指定内容的方法,涉及Python使用BeautifulSoup模块解析html网页的相关技巧,具有一定参考借鉴价值,需要的朋友可以参考下2015-07-07
这篇文章主要介绍了python中的PywebIO模块制作一个数据大屏，一个制作数据大屏的工具，非常的好用，100行的Python代码就可以制作出来一个完整的数据大屏，并且代码的逻辑非常容易理解,需要的朋友可以参考一下2022-03-03
这篇文章主要介绍了python正则表达式 匹配反斜杠的操作方法,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2020-08-08
这篇文章主要为大家详细介绍了如何通过Python+OpenCV实现边缘检测与角点检测，文中的示例代码讲解详细，对我们学习Python与OpenCV有一定的帮助，需要的可以参考一下2023-02-02
解决python cv2.imread 读取中文路径的图片返回为None的问题
这篇文章主要介绍了解决python cv2.imread 读取中文路径的图片返回为None的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-06-06
最新评论