详解Docker容器的日志处理
Docker有很多的日志插件，默认使用 json-file，只有使用json-file时，sudo docker logs -f 才可以显示，输入以下命令查看docker日志插件：
$ sudo docker info | grep Logging
这里先说明一下，当容器运行时，docker会在宿主机上创建一个该容器相关的文件，然后将容器产生的日志转存到该文件下。docker logs -f 命令就会找到该文件内容并显示在终端上。
我们都知道docker logs -f会将所有对应的服务日志输出到终端，无论服务的部署在哪个节点上，那么我现在提出一个问题，是否每个节点对应的容器文件，都会保存该服务的完整日志备份，还是只保存该节点服务对应容器产生的日志？
因为这个问题涉及到每个节点如果都用filebeat监听宿主机的容器日志文件，那么如果每个节点的容器日志都是一个完整的备份，日志就会重复，如果只是保存该节点上容器的日志，就不会。
答案是只保留该节点上容器的日志，docker logs -f 命令只不过在overlay网络模型上走了一层协议，把在其它节点上的相同的容器日志汇聚起来。
默认使用docker的json-file，首先配置daemon：
$ sudo dockerd \ --log-driver=json-file \ --log-opt labels=servicename
启动容器需要添加如下参数：
$ sudo docker service update --label servicename=test
或者直接在docker-compose.yml中标记：
version: "3"
services:
go-gin-demo:
image: chenghuizhang/go-gin-demo:v3
ports:
- 8081:8081
networks:
- overlay
deploy:
mode: replicated
replicas: 3
labels:
servicename: go-gin-demoxxxxxxx
logging:
options:
labels: "servicename"
networks:
overlay:
在每个节点安装filebeat，并且filebeat.yml配置如下：
filebeat.prospectors: - type: log paths: # 容器的日志目录 - /var/lib/docker/containers/*/*.log # 因为docker使用的log driver是json-file，因此采集到的日志格式是json格式，设置为true之后，filebeat会将日志进行json_decode处理 json.keys_under_root: true tail_files: true output.logstash: hosts: ["172.17.10.114:5044"]
在logstash.conf中配置索引：
output {
elasticsearch {
action => "index"
hosts => ["172.17.10.114:9200"]
# 获取日志label
index => "%{attrs.servicename}-%{+YYYY.MM.dd}"
}
}
Dockerfile文件需要将项目输出的日志打印到stdout和stderr中，不然json-file日志驱动不会收集到容器里面输出的日志，sudo docker logs -f就在终端显示不了容器日志了，在Dockerfile中需加入以下命令：
RUN ln -sf /dev/stdout /xx/xx.log \ # info && ln -sf /dev/stderr /xx/xx.log # error
或者在在项目的log4j配置输出控制台：
<Appenders>
<Console name="Console" target="SYSTEM_OUT">
<PatternLayout pattern="[%d{DEFAULT}]%m"/>
</Console>
</Appenders>
如果日志需要记录容器id名称和镜像名称，在运行容器时可以加入以下参数：
--log-opt tag="//"
最终，json-file日志插件将容器打印到控制台的日志生成到本地 /var/lib/docker/containers/*/ 目录中，格式如下：
{
"log":"[GIN-debug] [WARNING] Now Gin requires Go 1.6 or later and Go 1.7 will be required soon.",
"stream":"stderr",
"attrs":{
"tag":"chenghuizhang/go-gin-demo:v3@sha256:e6c0419d64e5eda510056a38cfb803750e4ac2f0f4862d153f7c4501f576798b/mygo.2.jhqptjugfti2t4emf55sehamo/647eaa4b3913",
"servicename":"test"
},
"time":"2019-01-29T10:08:59.780161908Z"
}
在logstash中格式化日志：
filter {
grok {
patterns_dir => "/etc/logstash/conf.d/patterns"
match => {"message" => "%{TIMESTAMP_ISO8601:time}%{SERVICENAME:attr.servicename}%{DOCKER_TAG:attr.tag}"}
}
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
本文主要介绍了远程docker服务器携带证书连接的实现方法，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2021-11-11
Docker扩展了LXC，提供了更高级别的API，并简化了应用的打包和部署，为终端用户创建彼此独立的私有环境，可有效节约开发者和系统管理员的环境部署时间。这篇文章主要介绍了基于Docker搭建iServer集群,需要的朋友可以参考下2022-04-04
这篇文章主要介绍了Dockerfile常用命令的使用简介，帮助大家更好的理解和学习使用Docker，感兴趣的朋友可以了解下2021-04-04
docker gitea drone实现超轻量级CI CD实战详解
这篇文章主要为大家介绍了docker gitea drone实现超轻量级CI CD实战详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-10-10
这篇文章主要介绍了Docker添加tomcat容器无法访问首页解决方案,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-07-07
这篇文章主要给大家介绍了关于docker启动mysql5.7服务的相关资料,文中通过代码示例介绍的非常详细,对大家的学习或者工作具有一定的参考价值,需要的朋友可以参考下2023-09-09
这篇文章主要介绍了详解Docker 容器基础系统镜像打包，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2016-12-12
部署环境并不会一直顺利,有些时候因为时内网环境,无法使用yum等情况,对于一些中间件的部署缺少依赖,我们可以使用二进制包的形式部署docker,这篇文章主要给大家介绍了关于二进制部署docker的相关资料,需要的朋友可以参考下2024-04-04
本篇文章主要介绍了详解修改docker启动默认网桥docker0为自定义网桥 ，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2017-05-05
这篇文章主要介绍了docker 查看容器日志命令的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-12-12
最新评论