浅谈java日志格式化

 更新时间:2019年05月23日 14:29:30   作者:jasonlu  
不管我们使用何种语言开发,一旦程序发生异常,日志是一个很重要的数据。但是并不是意味着打印的日志越多越好,我们需要的是有用的日志。下面小编来和大家一起学习以下知识

1.日志的重要性

不管我们使用何种语言开发,一旦程序发生异常,日志是一个很重要的数据。但是并不是意味着打印的日志越多越好,我们需要的是有用的日志。
曾经参与一个很重要的项目优化,他们的日志没有进行规范,开发、运维也没有把这个事情放在心上。等到压测的时候TPS和响应时间一直上不去。通过jstack分析发现,大部分的log数据在阻塞!
今天我们不讨论具体的日志规范,我从日志中心的角度来聊下LOG的规范

2.日志采集分析 -ELK

目前主流的ELK系统应该都是通过agent端(filebeat/flume)采集具体.log文件,对于日志没有多大处理的话,我们可能把整条日志采集过来后,通过logstash后把message存储到elasticsearch中。

1.当我们需要从每条日志中提取日志时间、日志级别等等信息的时候,我们需要在logstash配置相应的 grok语法解析其中的message信息。

2.当我们的日志中有异常信息,我们需要提取异常信息的时候,你会发现用grok来清洗message很困难!其实也有解决的方法,需要你去慢慢写正则匹配

不错,logstash强大的grok及mutate可以满足需求,但是当日志量很大的时候,logstash的grok和mutate会消耗大量的资源。那我们有没有更有的方案呢?

下面我们用java日志来举例吧

在想要得到答案之前,我们需要知道存储到es的最终数据是JSON,logstash清洗数据最终的结果是转换成JSON。一般的agent采集端仅仅只是做日志的采集,即使kafka做缓冲,kafka也不做处理。因此我们需要从日志的根源来解决这个问题。

3.为什么使用logstash处理Java的异常信息不好做呢?

这就涉及到日志框架输出的异常信息通常是多行的,这就意味着我们需要在filebeat(flume)或者logstash来处理多行的问题。当我们在日志的配置文件没有很好的区分日志的message和stack时,日志是糅杂一块的。提前其中的信息很难很难

4. 日志json化

既然原生的日志数据不好处理,那么我们需要对日志框架做些美容手术。
在日志中,我们一般都会打印,时间/日志级别/线程/日志内容/当前文件名/loggerName/异常信息等等。
其中 日志内容和异常信息可能会出现多行。这个需要处理下,下面我们使用fastjson来处理这两个字段,见代码

public class MsgConverter extends ClassicConverter {

 @Override
 public String convert(ILoggingEvent event) {
 return JsonUtils.serialize(event.getFormattedMessage());

 }
}
public class StackTraceConverter extends ThrowableProxyConverter {
 @Override
 public String convert(ILoggingEvent event) {
 IThrowableProxy throwableProxy = event.getThrowableProxy();
 // 如果没有异信息
 if (throwableProxy == null) {
 //返回字符串 : "\"\""
 return JsonUtils.serialize("");
 }
 String ex = super.convert(event);
 return JsonUtils.serialize(ex);
 }
}

其中JsonUtils可以选择合适的json框架来处理

之后在logback.xml中配置

<configuration>
 <conversionRule conversionWord="exdiy" converterClass="xxx.logback.converter.StackTraceConverter" />
 <conversionRule conversionWord="msgdiy" converterClass="xxx.logback.converter.MsgConverter" />
</configuration>

修改layout -> Pattern

<layout>
 <!--<Pattern>{"date":"%date{yyyy-MM-dd HH:mm:ss.SSS}","level":"%level","tid":"%tid","className":"%logger","fileLine":"%file:%line","msg":%message, "stack_trace":%ex }%n</Pattern>-->
 <Pattern>{"date":"%date{yyyy-MM-dd HH:mm:ss.SSS}","level":"%level","className":"%logger","fileName":"%file","thread":"%thread","msg":%msgdiy, "stack_trace":%exdiy}%n</Pattern>
</Pattern>
{
 "date":"2019-01-02 16:16:33.817",
 "level":"INFO",
 "className":"org.springframework.web.servlet.DispatcherServlet","fileName":"FrameworkServlet.java","thread":"http-nio-8762-exec-1","msg":"FrameworkServlet 'dispatcherServlet': initialization completed in 38 ms", "stack_trace":"" 
}

logstash将json字符串转换成json即可

json {
 source => "message"
 #target => "doc"
 remove_field => ["message"]
 }
 date {
 match => ["date","yyyy-MM-dd HH:mm:ss.SSS"]
 target => "@timestamp"
 locale => "cn"
 timezone => "Asia/Shanghai"
 }

最终效果

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

相关文章

  • Springboot新建项目Spring Initializr Error问题及解决

    Springboot新建项目Spring Initializr Error问题及解决

    这篇文章主要介绍了Springboot新建项目Spring Initializr Error问题及解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-11-11
  • 一文带你搞懂Java中的泛型和通配符

    一文带你搞懂Java中的泛型和通配符

    泛型机制在项目中一直都在使用,甚至很多源码中都用到了泛型机制。但是里面很多的机制和特性一直没有明白,尤其通配符这块,经常忘记。本文对此做了一些总结,具有一定借鉴价值,希望有所帮助
    2022-09-09
  • SpringBoot + MyBatis-Plus构建树形结构的几种方式

    SpringBoot + MyBatis-Plus构建树形结构的几种方式

    在实际开发中,很多数据都是树形结构,本文主要介绍了SpringBoot + MyBatis-Plus构建树形结构的几种方式,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-08-08
  • java多线程Thread-per-Message模式详解

    java多线程Thread-per-Message模式详解

    本篇文章给大家分享java多线程Thread-per-Message模式的相关知识点,对此有兴趣的朋友参考学习下。
    2018-05-05
  • java线程组构造方法源码解析

    java线程组构造方法源码解析

    这篇文章主要为大家介绍了java线程组构造方法源码解析,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-08-08
  • 解决springboot利用ConfigurationProperties注解配置数据源无法读取配置信息问题

    解决springboot利用ConfigurationProperties注解配置数据源无法读取配置信息问题

    今天在学习springboot利用ConfigurationProperties注解配置数据源的使用遇到一个问题无法读取配置信息,发现全部为null,纠结是哪里出了问题呢,今天一番思考,问题根源找到,下面把我的解决方案分享到脚本之家平台,感兴趣的朋友一起看看吧
    2021-05-05
  • java下载url路径包含中文需要转义的操作

    java下载url路径包含中文需要转义的操作

    这篇文章主要介绍了java下载url路径包含中文需要转义的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-12-12
  • Spring中字段格式化的使用小结

    Spring中字段格式化的使用小结

    Spring提供的一个core.convert包 是一个通用类型转换系统。它提供了统一的 ConversionService  API和强类型的Converter SPI,用于实现从一种类型到另一种类型的转换逻辑,这篇文章主要介绍了Spring中字段格式化的使用详解,需要的朋友可以参考下
    2022-06-06
  • 聊聊spring boot的WebFluxTagsProvider的使用

    聊聊spring boot的WebFluxTagsProvider的使用

    这篇文章主要介绍了聊聊spring boot的WebFluxTagsProvider的使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-07-07
  • mybatis QueryWrapper的条件构造之apply、last、select解析

    mybatis QueryWrapper的条件构造之apply、last、select解析

    这篇文章主要介绍了mybatis QueryWrapper的条件构造之apply、last、select,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-03-03

最新评论