日志采集端积压把磁盘写满,限流和落盘策略怎么调

下游收不动时采集端会写本地缓冲,缓冲区把磁盘吃满就整机遭殃。

先给内存或磁盘队列设上限,到顶就丢最旧的,宁可丢日志别拖垮主机。

开启发送限流并加大重试退避,同时下调采集速率或采样。

缓冲目录单独挂小分区并配轮转清理,别和生产数据抢同一块盘。

# Filebeat:限制磁盘队列 + 加大退避
queue.disk.max_size: 500mb
output.logstash:
  bulk_max_size: 512
  backoff.init: 1s
  backoff.max: 60s

# Fluentd:限制缓冲与重试间隔
<buffer>
  total_limit_size 200MB
  retry_max_interval 60s
</buffer>
THE END
喜欢就支持一下吧
点赞8 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容