实时日志分析之一:总体说明

由于每天有过亿级的nginx日志需要做实时采集分析,需要使用一套能撑住压力的实时数据采集分析系统。
用户访问web服务器使用了openresty,在每台openresty服务器上使用filebeat实时收集产生的nginx日志,发送到kafka集群作为持久化缓冲队列。后面再使用多个logstash从kafka中取出数据,并对数据进行转换处理,发送到elasticsearch集群中。最后使用了grafana,实时展现elasticsearch中的数据统计。如有疑问请联系我,大家共同学习!

mahua

Openresty

Filebeat

Kafka

Logstash

elasticsearch

grafana

  • 是一款采用 go 语言编写的开源应用,主要用于大规模指标数据的可视化展现,基于商业友好的 Apache License 2.0 开源协议
  • 官方文档:http://docs.grafana.org/

这篇系列文章将结合具体的一条nginx日志,讲解各个关键组件的安装使用,从原始的日志到最后的展现。文章不会涉及一些细枝末节,比如各个服务器的防火墙设置(默认我都会关闭)、grafana具体的使用(官方文档已经讲的很详细)等等。

坚持原创技术分享,您的支持将鼓励我继续创作!

热评文章