这是一个创建于 2679 天前的主题,其中的信息可能已经有所发展或是发生改变。
现在日志处理基本都 ELK,确实好用,但在实践中遇到一些问题。
logstash 接入(上游 filebeat 收集日志)的日志类型和数量都太多了,每一类日志都要有一个 filter(grok) 和 output(es 不同的 index,或者 kafka 不同的 topic)。
1. 随着业务增多配置文件如何管理?现在都在一个配置文件里,1k 多行了。😓
2. 随着日志量增大 logstash 处理能力更不上,数据延迟较大,如何解决?有什么集群方案吗?扩机器需要修改 filebeat 的配置,比较麻烦。
谢谢了