:
Logstash 是一款强大的日志处理工具,可以轻松采集、转换和传输数据,不受格式或复杂度的影响。它是一个免费且开放的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的“存储库”中。
输入、过滤器和输出
1. 输入:Logstash 支持多种输入选择,可以从众多常用来源捕捉事件。可以以连续的流式传输方式,轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。
2. 过滤器:在数据传输过程中,Logstash 过滤器能够解析各个事件,识别已命名的字段以构建结构,并将它们转换成通用格式,以便进行更强大的分析和实现商业价值。
3. 输出:尽管 Elasticsearch 是我们的*输出方向,但 Logstash 提供众多输出选择,您可以将数据发送到您要指定的地方,并且能够灵活地解锁众多下游用例。
可扩展性和即插即用
1. 可扩展性:Logstash 采用可插拔框架,拥有 200 多个插件。您可以将不同的输入选择、过滤器和输出选择混合搭配、精心安排,让它们在管道中和谐地运行。
2. 即插即用:使用 Elastic Stack 更快获得洞察。Logstash 模块通过热门的数据源(如 ArcSight 和 Netflow )呈现瞬间可视化的体验。通过立即部署采集管道和复杂的仪表板,您在短短几分钟内便可开始数据探索。
可靠性与安全性
1. 可靠性:假如 Logstash 节点发生故障,Logstash 会通过持久化队列来保证至少将运行中的事件送达一次。那些未被正常处理的消息会被送往死信队列 (dead letter queue) 以便做进一步处理。由于具备了这种吸收吞吐量的能力,现在您无需采用额外的队列层,Logstash 就能平稳度过高峰期。
2. 安全性:我们还能让您充分确保自己采集管道的安全性。
全方位监视您的部署
借助监测和管道查看器功能,您可以轻松观察和研究处于活动状态的 Logstash 节点或整个部署。
安装指南:
1. 确保机器已经安装和配置好 JDK1.8。
2. 下载并解压 Logstash 到 /usr/local 文件夹中并更改命名。
3. 将 http.host: "127.0.0.1" 修改成 http.host: “0.0.0.0”,同时打开云服务器上的 9600 端口的访问权限。
4. 运行 logstash 的配置文件有两种方案:
方案一:使用 bin/logstash -e(配置内容比较简单,一行就可以写完,可以直接在 Linux 命令行使用命令运行配置文件进行数据的收集)
例如:/bin/logstash -e ‘input {stdin {}} output{stdout{}}’
推荐评语