脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 软件编程 → java → filebeat收集解析springboot日志

使用filebeat收集并解析springboot日志过程示例

 更新时间：2023年08月06日 08:36:18   作者：codecraft  
这篇文章主要为大家介绍了使用filebeat收集并解析springboot日志实现过程示例,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪

序

本文主要研究一下如何使用filebeat收集并解析springboot日志

安装

在官网的下载页面filebeat/downloads提供了一些特定平台的安装包，不过对应linux最为省事的安装方式就是直接下载x86_64压缩包，然后解压即可

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.9.0-linux-x86_64.tar.gz

解析

filebat.yml主要有input和output组成

json

比如对于json格式的日志，其input示例如下

filebeat.inputs:
  - type: log
    paths:
      - "/data/logs/*/error.log"
    document_type: json
    json.message_key: log
    json.keys.under_root: true
    json.overwrite_keys: true
    fields:
      logType: errJson
    fields_under_root: true

 对于json类型的指定document_type为json，其中json.message_key用于指定json中哪个字段为message

logback

springboot logback默认的file pattern为
org/springframework/boot/spring-boot/2.7.14/spring-boot-2.7.14.jar!/org/springframework/boot/logging/logback/defaults.xml

<property name="FILE_LOG_PATTERN" value="${FILE_LOG_PATTERN:-%d{${LOG_DATEFORMAT_PATTERN:-yyyy-MM-dd HH:mm:ss.SSS}} ${LOG_LEVEL_PATTERN:-%5p} ${PID:- } --- [%t] %-40.40logger{39} : %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}}"/>

 打印出来的示例如下

2023-08-05 20:47:11.069  INFO 3396 --- [           main] org.example.Main                         : Started Main in 1.662 seconds (JVM running for 2.228)

针对这个，可以用filebeat的dissect来解析，如下

filebeat.inputs:
- type: stdin
  processors:
    - dissect:
        tokenizer: "%{logDate} %{logTime}  %{logLevel} %{pid} --- [%{thread}] %{logger} : %{message}"
        field: "message"
output.console:
  enabled: true
  pretty: true

解析出来的json如下

{
  "@timestamp": "2023-08-05T12:53:28.738Z",
  "@metadata": {
    "beat": "filebeat",
    "type": "_doc",
    "version": "8.9.0"
  },
  "log": {
    "offset": 0,
    "file": {
      "path": ""
    }
  },
  "message": "2023-08-05 20:47:11.069  INFO 3396 --- [           main] org.example.Main                         : Started Main in 1.662 seconds (JVM running for 2.228)",
  "input": {
    "type": "stdin"
  },
  "dissect": {
    "logTime": "20:47:11.069",
    "logLevel": "INFO",
    "pid": "3396",
    "thread": "           main",
    "logger": "org.example.Main                        ",
    "message": "Started Main in 1.662 seconds (JVM running for 2.228)",
    "logDate": "2023-08-05"
  },
  "agent": {
    "name": "dembp",
    "type": "filebeat",
    "version": "8.9.0",
    "ephemeral_id": "4e4a9ee3-4682-41ab-ad9b-f4821543d991",
    "id": "597a1a87-8165-492b-a9e8-d6530376b179"
  },
  "ecs": {
    "version": "8.0.0"
  },
  "host": {
    "name": "dembp"
  }
}

处理换行

上面给的例子其实没有处理换行的情况，这个时候可以使用filebeat的multiline来指定，比如

filebeat.inputs:
- type: stdin
  multiline:
    pattern: '^\d{4}-\d{2}-\d{2}'
    negate: true
    match: after

 这里指定用^\d{4}-\d{2}-\d{2}来匹配日期开头的日志，匹配上了就是一条日志；negate为true表示没有匹配上的那一行归属上面一条日志，而match的after代表合并到上一行的末尾，before代表合并到下一行的开头

输出

对于大型的应用，一般filebeat做轻量级的收集，不做解析，解析交给logstash或者elasticsearch pipeline或者其他中间服务；而对于一些小型规模的或者是非生产环境，在多部署一个logstash显得有点繁琐，可以用dissect替代logstash的grok进行日志解析，然后就可以直接output到目标服务，比如elasticsearch

logstash

output:
  logstash:
    hosts: ["192.168.99.100:5044"]

elasticsearch

output.elasticsearch:
  hosts: ["192.168.99.100:9200"]
  username: "xxxx"
  password: "xxxx"

小结

filebeat提供了processor能力，其中dissect替代logstash的grok进行日志解析，非常便捷。

doc  dissect

以上就是使用filebeat收集并解析springboot日志的详细内容，更多关于使用filebeat收集并解析springboot日志的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:

相关文章

  • Java集合框架超详细小结

    Java集合框架超详细小结

    Java中提供的一种容器，可以用来存储多个数据。java集合大致可以分为Set，List，Queue和Map四种体系。这篇文章主要介绍了Java集合框架超详细小结,需要的朋友可以参考下
    2021-08-08
  • 详解spring中aop不生效的几种解决办法

    详解spring中aop不生效的几种解决办法

    这篇文章主要介绍了详解spring中aop不生效的几种解决办法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2020-06-06
  • 解读@Scheduled任务调度/定时任务非分布式

    解读@Scheduled任务调度/定时任务非分布式

    这篇文章主要介绍了解读@Scheduled任务调度/定时任务非分布式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-08-08
  • Java实现AES加密算法的简单示例分享

    Java实现AES加密算法的简单示例分享

    这篇文章主要介绍了Java实现AES加密算法的简单示例分享,AES算法是基于对密码值的置换和替代,需要的朋友可以参考下
    2016-04-04
  • JRebel在线激活破解实现教程

    JRebel在线激活破解实现教程

    这篇文章主要介绍了JRebel在线激活破解实现教程,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-12-12
  • debug模式迟迟不能启动问题及解决

    debug模式迟迟不能启动问题及解决

    在使用Debug模式进行代码测试时,由于设置了过多的断点,导致程序加载缓慢甚至无法启动,解决此问题的方法是取消不必要的断点,通过IDE的断点管理功能,检查并移除问题断点,从而优化调试效率,分享此经验希望能帮助遇到相同问题的开发者
    2022-11-11
  • 深入了解JVM(Java虚拟机)内存结构

    深入了解JVM(Java虚拟机)内存结构

    Java虚拟机（Java Virtual Machine,JVM）是Java程序的运行环境,它是一个抽象的计算机模型,通过解释和执行Java字节码来运行Java程序,本将大家深入了解JVM(Java虚拟机)内存结构,需要的朋友可以参考下
    2023-08-08
  • Mybatis多线程下如何使用Example详解

    Mybatis多线程下如何使用Example详解

    这篇文章主要给大家介绍了关于Mybatis多线程下如何使用Example的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用Mybatis具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
    2019-12-12
  • Spring动态添加定时任务的实现思路

    Spring动态添加定时任务的实现思路

    这篇文章主要介绍了Spring动态添加定时任务的实现思路，本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2021-07-07
  • java中abstract修改类的实例方法

    java中abstract修改类的实例方法

    在本篇文章里小编给各位分享了一篇关于java中abstract修改类的实例方法，有需要的朋友们可以学习下。
    2020-12-12

最新评论