Redis与RabbitMQ作为Logstash和elasticsearch之间的数据代理/消息传递系统
我们正在定义一种架构，通过安装在各种机器上的Logstash发货人（shippers）收集日志信息，并将数据集中索引到一个Elasticsearch服务器中，使用Kibana作为图形层。我们需要一个可靠的消息传递系统，在Logstash发货人和Elasticsearch之间保证交付。选择Red...
如何使用Logstash处理多个不同类型的输入？
假设您有两种非常不同类型的日志，例如技术和业务日志，并且您希望： 原始技术日志使用gelf输出路由到graylog2服务器, JSON业务日志使用专用的elasticsearch_http输出存储到elasticsearch集群中。 我知道例如使用Syslog-NG，配置文件允许定义多...
如何强制Logstash重新解析文件？
我安装了Logstash来解析Apache文件。 调整设置花费了我相当长的时间，我一直在真实的日志上尝试。 我注意到（正如文档所说）logstash会“记住”它在文件中的位置。 现在我的设置是正确的，我希望Logstash“忘记”。 这似乎比我想象的更难。 我已经执行了以下操作： 使用：s...
如何使用Kibana +Elastic Search检索字段的唯一计数
是否可以使用Kibana查询字段的唯一计数/去重计数？ 我正在使用Elasticsearch作为Kibana后端。 如果可以，查询语法是什么？ 这里是我想要进行查询的Kibana界面链接：http://demo.kibana.org/#/dashboard 我正在使用Logstash解析...
从Kibana导出到CSV/Excel
我正在为我的一个项目构建一个 Elasticsearch Logstash 和 Kibana 的概念验证。我的仪表板和图表都能正常工作。我的项目要求之一是能够下载文件(csv/excel)。 在 Kibana 中，我看到的唯一下载文件的选项是通过单击所创建可视化编辑按钮来完成的。是否可以在仪表...
如何在Kibana/ELK中进行“where not exists”类型的过滤？
我正在使用ELK从我的日志文件创建仪表板。我有一个包含id值和“success” / “failure”值的条目的日志文件，显示给定id的操作是否成功或失败。每个操作/ id可以无限次失败，并且最多成功一次。在我的Kibana仪表板中，我想显示具有“failure”值的每个操作id的日志条目计...
如何将ElasticSearch与MySQL集成？
在我的一个项目中，我计划将ElasticSearch与MySQL一起使用。 我已经成功安装了ElasticSearch。我能够独立管理ES中的索引，但是我不知道如何在MySQL中实现相同的功能。 我已经阅读了一些文档，但我还是有点困惑，没有清晰的想法。
Logstash检查字段是否存在。
我正在使用 ELK 堆栈处理日志文件。我想复制一个字段(foo)以便对它执行各种变异，但是该字段(foo)并不总是存在。 如果foo不存在，则bar仍然会被创建，但是会被分配为文字串"%{foo}" 如果只有当一个字段存在时才能进行变异，该怎么做？ 我正在尝试像这样做。if ["foo"...
如何处理Logstash grok过滤器不匹配的情况
我在思考如何处理我的Logstash Grok过滤器的最佳方案。我有一些特定于某些日志条目的过滤器，而不是适用于所有条目。那些不适用的过滤器总是生成_grokparsefailure标签。例如，我有一个grok过滤器适用于每个日志条目，并且它很好地工作。然后我有另一个过滤器，它是用于带有追踪返...
Graylog2和Kibana之间的主要区别是什么？
Graylog2和Kibana之间的主要区别是什么？ 我们已经在使用Graylog2，但我必须承认我不太喜欢它的用户界面。只是想知道是否切换到Kibana可能会有所帮助。