❶ logstash好用不
ight © 1999-2020, CSDN.NET, All Rights Reserved
机器学习
登录
yinbiao123456
关注
Logstash介绍 原创
2019-01-24 20:27:03
yinbiao123456
码龄3年
关注
目录
1 工作原理
1.1 输入
1.2 过滤器
1.3 输出
2 安装Logstash
3 Logstash实例
3.1 过滤器实例
3.2 日志输入实例
4 Logstash小结
5 Flume与Logstash对比
Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地进行存储。尽管Logstash的早期目标是搜集日志，现在它的功能已完全不只于此。任何事件类型都可以加入分析，通过输入、过滤器和输出插件进行转换。与此同时，还提供了很多原生编解码工具简化消息处理。Logstash通过海量数据处理和多种多样的数据格式支持延伸了我们对数据的洞察力。
ELK 是Logstash的典型使用场景，用Elasticsearch作为后台数据的存储，kibana用来前端的报表展示，Logstash在其过程中担任搬运工的角色。下面我们将详细讲述Logstash相关原理和功能。
1 工作原理
Logstash使用管道方式进行日志的搜集处理和输出。Logstash管道有两个必需的元素，输入和输出，以及一个可选元素过滤器。输入插件从数据源那里消费数据，过滤器插件根据你的期望修改数据，输出插件将数据写入目的地。在logstash中，包括了三个阶段:输入input --> 处理filter（不是必须的） --> 输出output，如图3-1所示：
图3-1 Logstash工作原理
1.1 输入
数据往往以各种各样的形式，或分散或集中地存在于很多系统中。Logstash 支持各种输入选择 ，可以在同一时间从众多常用来源捕捉事件。能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据，如图3-2所示：
图3-2数据输入
目前，logstash主要支持的数据输入方式为：标准输入、文件输入、TCP输入、syslog输入、http_poller抓取、kafka消息队列输入等。
1.2 过滤器
数据从源传输到存储库的过程中，Logstash 过滤器能够解析各个事件，识别已命名的字段以构建结构，并将它们转换成通用格式，以便更轻松、更快速地分析和实现商业价值。Logstash 能够动态地转换和解析数据，不受格式或复杂度的影响，例如，利用利用 Grok 从非结构化数据中派生出结构、从 IP 地址破译出地理坐标
❷ logstash 是什么语言开发的
logstash 是什么语言开发的
Logstash基本组成
有过使用经验的都知道Logstash主要由输入、过滤器、输出三部分组成。
每一部分的插件都符合统一的标准，因此扩展起来也十分容易。
自定义过滤器插件
由于需求大多都是集中在过滤部分，因此这里就简单的介绍下过滤器的自定义写法。
官网上面的过程太过繁琐，比如：
1 创建github开源工程
2 拷贝样例工程
3 替换样例工程基本信息
4 编写业务代码
5 安装插件
6 分享与贡献