python 实时遍历日志文件
更新时间：2016年04月12日 13:31:44 作者：卑鄙的wo
这篇文章主要介绍了python 实时遍历日志文件 的相关资料,需要的朋友可以参考下
open 遍历一个大日志文件
使用 readlines() 还是 readline() ?
总体上 readlines() 不慢于python 一次次调用 readline()，因为前者的循环在C语言层面，而使用readline() 的循环是在Python语言层面。
但是 readlines() 会一次性把全部数据读到内存中，内存占用率会过高，readline() 每次只读一行，对于读取 大文件， 需要做出取舍。
如果不需要使用 seek() 定位偏移， for line in open('file') 速度更佳。
使用 readlines()，适合量级较小的日志文件
import os
import time
def check():
p =
while True:
f = open("log.txt", "r+")
f = open("result.txt", "a+")
f.seek(p, )
#readlines()方法
filelist = f.readlines()
if filelist:
for line in filelist:
#对行内容进行操作
f.write(line)
#获取当前位置，为下次while循环做偏移
p = f.tell()
print 'now p ', p
f.close()
f.close()
time.sleep()
if __name__ == '__main__':
check()
使用 readline()，避免内存占用率过大
import os
import time
def check():
p =
while True:
f = open("log.txt", "r+")
f = open("result.txt", "a+")
f.seek(p, )
#while readline()方法
while True:
l = f.readline()
#空行同样为真
if l:
#对行内容操作
f.write(l)
else:
#获取当前位置，作为偏移值
p = f.tell()
f.close()
f.close()
break
print 'now p', p
time.sleep()
if __name__ == '__main__':
check()
相关文章
pandas索引与赋值操作、排序以及Series排序和DataFrame排序方式
这篇文章主要介绍了pandas索引与赋值操作、排序以及Series排序和DataFrame排序方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2023-09-09
这篇文章主要给大家介绍了关于Python中枚举类型的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-01-01
这篇文章主要介绍了Python数据持久化shelve模块用法,结合实例形式较为详细的总结分析了shelve模块的功能、原理及简单使用方法,需要的朋友可以参考下2018-06-06
这篇文章主要介绍了python中bytes和str类型的区别,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-10-10
大家好，本篇文章主要讲的是python的图形用户界面介绍，感兴趣的同学赶快来看一看吧，对你有帮助的话记得收藏一下，方便下次浏览2022-01-01
这篇文章主要介绍了Python 中的结构模式匹配,本篇文章介绍结构模式匹配及其在 Python 中的重要性，它还使用不同的模式来演示如何使用 match … case 语句，需要的朋友可以参考下2023-06-06
今天小编就为大家分享一篇Python 仅获取响应头, 不获取实体的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-08-08
对于生信工作者,有一个方便可用的环境可以极大地方便我们开展分析,conda可以让我们在非root的情况下较为方便地切换不同的工作环境,下面这篇文章主要给大家介绍了关于conda创建环境、安装包、删除环境步骤的相关资料,需要的朋友可以参考下2022-08-08
Python机器学习pytorch模型选择及欠拟合和过拟合详解
如何发现可以泛化的模式是机器学习的根本问题，将模型在训练数据上过拟合得比潜在分布中更接近的现象称为过拟合，用于对抗过拟合的技术称为正则化2021-10-10
使用pandas实现csv/excel sheet互相转换的方法
今天小编就为大家分享一篇使用pandas实现csv/excel sheet互相转换的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-12-12
最新评论