【LSP】日志分析平台ELK之日志收集器logstash

logstash的工作原理类似Linux里的rsyslog，首先logstash会有一个数据输入源，也就是logstash去哪里采集数据，它的采集数据来源很多，比如从文件中采集，从某个tcp/udp端口采集，从redis的消息队列中采集，kafka啊、标准输入等等；它和rsyslog不同的是，rsyslog是把日志数据从一个地方转到另一个地方，中间不会去处理日志的格式，采集回来是什么样就是什么样；而logstash不一样，logstash它可以把采集回来的日志做格式化，以不同的编码形式向外输出；比如把nginx的日志采集回来，它可以以json格式输出；同时它还可以处理采集回来的日志，比如忽略某些字段的输出，把原有日志格式做切分；把原来不是json格式的日志，通过输出规则转换为json格式的日志；总体流程图如下





　　提示：以上流程图主要表示logstash采集数据和处理数据内部的一个流程；从上面的流程不难想象，logstash就是把一个数据采集回来，通过内部定义的处理规则，然后通过output规则输出到指定地方的一个插件；

　　安装logstash

　　logstash的运行方式有两种，第一种以agint的方式运行在数据源所在服务器上采集数据，然后输出到指定地方；第二种是以server方式独立运行在一个服务器上，接受filebeat从数据源发送过来的数据，然后在输出到其他地方；logstash的运行以来jdk,所以首先要在运行jdk的服务器上安装jdk;logstash的版本最好同ELK中的其他组件版本一样；

　　安装jdk

1
yum install -y java-1.8.0-openjdk-devel
　　导出JAVA_HOME环境变量


　　下载logstash-6.8.12.rpm包
提示：logstash安装生成的文件超级多，其中主配置文件是/etc/logstash/lostash.yml，配置日志收集规则、过滤规则、输出规则的文件通常放在/etc/logstash/conf.d/目录下以.conf结尾的文件；其实主配置文件基本不用动，我们直接在/etc/logstash/conf.d/目录下编辑日志收集规则配置文件，然后启动logstash即可；

众里寻他千百度，蓦然回首在这里！

路过 帮顶 嘿嘿

看起来不错

占坑编辑ing

我也顶起出售广告位