iyaozhen
V2EX  ›  问与答

请教一个大业务量下 logstash 处理效率和配置管理的问题

  •  1
     
  •   iyaozhen · Aug 22, 2017 · 3211 views
    This topic created in 3188 days ago, the information mentioned may be changed or developed.
    现在日志处理基本都 ELK,确实好用,但在实践中遇到一些问题。

    logstash 接入(上游 filebeat 收集日志)的日志类型和数量都太多了,每一类日志都要有一个 filter(grok) 和 output(es 不同的 index,或者 kafka 不同的 topic)。

    1. 随着业务增多配置文件如何管理?现在都在一个配置文件里,1k 多行了。😓
    2. 随着日志量增大 logstash 处理能力更不上,数据延迟较大,如何解决?有什么集群方案吗?扩机器需要修改 filebeat 的配置,比较麻烦。

    谢谢了
    No Comments Yet
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   963 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 19:15 · PVG 03:15 · LAX 12:15 · JFK 15:15
    ♥ Do have faith in what you're doing.