[TOC]
日志流: filebeat –> kafka–> logstash–>es
k8s应用日志输出到标准输出,最好是json格式日志。
filebeat
关键配置
- output.kafka
topic: 'k8s-%{[kubernetes.namespace]}'
按照ns打入topic - filebeat 传输meta信息落盘。 pod
/usr/share/filebeat/data
目录 挂载到宿主机/data/filebeat
目录
kafka
正常kafka集群即可,只做日志的话,可以将副本数设置为1。
logstash
消费kafka数据,打入不同es的index (按namespace)
output关键配置
index => "k8s-%{[kubernetes][namespace]}-%{+YYYY.MM.dd}"
es
动态调试索引模板。