使用Python编写提取日志中的中文的脚本的方法

 更新时间:2015年04月30日 17:40:23   作者:JohnnyHu90  
这篇文章主要介绍了使用Python编写提取日志中的中文的脚本的方法,该脚本包括过滤重复的字符行等功能,需要的朋友可以参考下

由于工作需要在一大堆日志里面提取相应的一些固定字符,如果单纯靠手工取提取,数据量大,劳心劳力,于是自然而然想到了用Python做一个对应的提取工具,代替手工提取的繁杂,涉及中文字符,正则表达式不好匹配,但不是不可以实现,这个以后优化时再说。

需求描述:

一个父目录中存在多个子文件夹,子文件夹下有多个txt形式化的Log日志,要求从所有地方Log日志中找出CardType=9, CardNo=0时的CardID的值,并将其统计存储到一个文本文件中,要求CardID不能够重复。

需求解析:

首先获取所有的Log日志的全路径,根据路径分别加载到将各个Log日志加载到内存中进行提取分析,并将结果存储到给定的文本文件中。

解决方案:

为了尽可能的简洁通用,这里使用配置文件作为输入变量的依据。不多说,上代码:

配置文件如下:

2015430173625617.png (452×84)

103文件夹下有两个文件:log1.txt和log2.txt, 内容类似如下:

2015430173809357.png (169×239)2015430173724409.png (175×242)

Python代码实现如下:

# -*- coding: utf-8 -*-
#!/usr/bin/python
# filename: picktools.py
# codedtime:2015-3-25

import os
import configparser

# 遍历一个目录,输出所有文件名
def itemsbrowse(path):
  for home, dirs, files in os.walk(path):
    for filename in files:
      yield os.path.join(home, filename)

# 给的文件中查找对应的字符串所在行      
def findchars(filename, chars):
  file = open(filename, 'r')
  for eachline in file:
    if eachline.find(chars) >= 0:
      yield eachline
  file.close()

# 添加到指定的文件
def addtofile(filename, mygenerator):
  file = open(filename, 'a')   # 追加方式打开
  for line in mygenerator:
    file.write(line)
  file.close()

# 过滤重复的字符行
def filter(filename):
  mylist = []
  file = open(filename, 'r')
  for eachline in file:
    mylist.append(eachline.strip())
  file.close()
  
  file2 = open(os.path.splitext(filename)[0] + '_filter.txt', 'w')
  for line in list(set(mylist)):
    print(line, file = file2)
    #file2.write(line) 
  file2.close()
  

def excute():
  iniconf = configparser.ConfigParser()
  iniconf.read('config.ini')
  ifile = iniconf.get('setting', 'ifilepath')
  ofile = iniconf.get('setting', 'ofilepath')
  chars = iniconf.get('setting', 'searchstr')
  
  for fullname in itemsbrowse(ifile):
    mygenerator = findchars(fullname, chars)
    addtofile(ofile, mygenerator)
    
  filter(ofile)
      
      
if __name__ == '__main__':
  excute()


输出结果:输出两个文件result.txt 和result_filter.txt

2015430173844654.png (180×280)2015430173909943.png (181×279)

心得体会:

1、利用Python去处理一些日常的小任务,可以很方便的完成,相比较C/C++来说,这方面生产力高了不少。

2、本文设计对中文字符的处理,所以使用正则表达式不太怎么方便,但不少不可以,后续版本中会添加对正则的支持!

3、由于初学中,所以代码写的不够精炼简洁,后续进行再优化!

相关文章

  • colab中修改python版本的全过程

    colab中修改python版本的全过程

    日 对于没有服务器的研究生来说,Colab无疑是性价比最高的GPU选择,下面这篇文章主要给大家介绍了关于如何利用colab修改python版本的相关资料,需要的朋友可以参考下
    2022-04-04
  • 对tensorflow 的模型保存和调用实例讲解

    对tensorflow 的模型保存和调用实例讲解

    今天小编就为大家分享一篇对tensorflow 的模型保存和调用实例讲解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-07-07
  • pd.to_datetime中时间object转换datetime实例

    pd.to_datetime中时间object转换datetime实例

    本文主要介绍了pd.to_datetime中时间object转换datetime实例,文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2022-06-06
  • 浅谈python的上下文管理器with的用法

    浅谈python的上下文管理器with的用法

    这篇文章主要介绍了浅谈python的上下文管理器with的用法,在一段代码执行前, 先执行__enter__中的代码用于预处理,然后执行 with 中间的代码,最后执行完这段代码之后再执行 exit 中的代码进行清理工作,需要的朋友可以参考下
    2023-07-07
  • python实现自动解数独小程序

    python实现自动解数独小程序

    这篇文章主要为大家详细介绍了python实现自动解数独小程序,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-01-01
  • Python参数传递对象的引用原理解析

    Python参数传递对象的引用原理解析

    这篇文章主要介绍了Python参数传递对象的引用原理解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-05-05
  • Python Django 后台管理之后台模型属性详解

    Python Django 后台管理之后台模型属性详解

    这篇文章主要介绍了Python Django 后台管理之后台模型属性,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2021-04-04
  • python中update()函数的使用方法

    python中update()函数的使用方法

    Python字典update()方法用于更新字典中的键/值对,可以修改存在的键对应的值,也可以添加新的键/值对到字典中,这篇文章主要给大家介绍了关于python中update()函数的使用方法,需要的朋友可以参考下
    2024-02-02
  • python实现单目标、多目标、多尺度、自定义特征的KCF跟踪算法(实例代码)

    python实现单目标、多目标、多尺度、自定义特征的KCF跟踪算法(实例代码)

    这篇文章主要介绍了python实现单目标、多目标、多尺度、自定义特征的KCF跟踪算法,本文通过实例代码给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-01-01
  • python实现飞机大战游戏(pygame版)

    python实现飞机大战游戏(pygame版)

    这篇文章主要为大家详细介绍了python实现pygame版的飞机大战游戏,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2020-02-02

最新评论