ELK

type
status
date
slug
summary
tags
category
icon
password
notion image
软件包下载
日志收集和处理
抓取日志写入redis,在存入数据库
Elasticearch 相当于内存数据库,存储
Logstash 收集日志到Elasticearch
Kibana 读取Elasticearch中的信息并页面展示日志相关信息
LK是由Elasticsearch、Logstash、Kibana 三个开源软件的组成的一个组合体,这三个软件当中,每个软件用于完成不同的功能,ELK 又称为ELK stack
 
处理方式灵活: elasticsearch是实时全文索引,具有强大的搜索功能配置相对简单:elasticsearch全部使用JSON 接口,logstash使用模块配置,kibana的配置文件部分更简单。检索性能高效:基于优秀的设计,虽然每次查询都是实时,但是也可以达到百亿级数据的查询秒级响应。集群线性扩展:elasticsearch和logstash都可以灵活线性扩展前端操作绚丽:kibana的前端设计比较绚丽,而且操作简单
Elasticsearch:是一个高度可扩展的开源全文搜索和分析引擎,它可实现数据的实时全文搜索搜索、支持分布式可实现高可用、提供API接口,可以处理大规模日志数据,比如Nginx、Tomcat、系统日志等功能
Logstash可以通过插件实现日志收集和转发,支持日志过滤,支持普通log、自定义json格式的日志解析
kibana主要是通过接口调用elasticsearch的数据,并进行前端数据可视化的展现
1.ELK主要用户日志收集、存储、分析、展示2.解决开发查看日志的需求,解决服务器用户登录的权限问题
 
Elasticsearch安装
安装Elasticsearch插件之head
zabbix监控elasticsearch集群状态
 
Logstash install
Logstash Test terminal input and output information 测试终端输入输出信息
Logstash Test file input and output information测试文件输入输出信息
Logstash使用if语句为日志类型分类输入输出
Logstash收集日志注意目录权限,可将Logstash服务修改为root
Logstash收集nginx访问日志
Logstash收集tomcat日志
Logstash收集java日志,可将多行换成一行
Logstash收集TCP/UDP日志
Logstash通过rsyslog收集haproxy日志
Logstash写入redis缓存,在读取redis缓存写入elasticsearch
Logstash写入kafka中,在读取kafka写入elasticsearch
logstash Write log data to the database 将日志数据写入数据库
 
Kibana install安装
Kibana Create indexes创建索引
Kibana delete indexes 删除索引
Kibana Generate reports生成报表
kibana加固,使用nginx反代加认证
kibana通过地图统计客户IP所在城市
kibana drawing画图
 
filebeat test collects system log input to a file
filebeat收集系统日志写入redis (Collect system log write)
logstash读取filebeat写入redis的key存入elasticsearch
filebeat收集多个日志写入redis
测试filebeat写入logstash5044端口
 
 
上一篇
DevOps
下一篇
FTP
Loading...
目录