54得票4回答
如何处理Logstash grok过滤器不匹配的情况

我在思考如何处理我的Logstash Grok过滤器的最佳方案。我有一些特定于某些日志条目的过滤器,而不是适用于所有条目。那些不适用的过滤器总是生成_grokparsefailure标签。例如,我有一个grok过滤器适用于每个日志条目,并且它很好地工作。然后我有另一个过滤器,它是用于带有追踪返...

37得票4回答
在Elasticsearch中更改字符串的默认映射为“未分析”

在我的系统中,数据的插入始终通过 logstash 通过 csv 文件进行。我从未预定义过映射。但无论何时我输入一个字符串,它总是被视为分析,因此像 hello I am Sinha 这样的条目被拆分为hello,I,am,Sinha。有没有办法更改 Elasticsearch 的默认/动...

33得票1回答
日志文件中的可选字段Logstash

我正在尝试使用Grok解析日志文件。 每行日志都有由逗号分隔的字段:13,home,ABC,Get,,Private, Public,1.2.3 ecc... 我正在这样使用match: match => ["message", "%{NUMBER:requestId},%{WORD:...

33得票3回答
如何在 grok/logstash 中匹配换行符?

我有一台远程机器,它组合多行事件并通过lumberjack协议发送它们。 输入的内容看起来像这样:{ "message" => "2014-10-20T20:52:56.133+0000 host 2014-10-20 15:52:56,036 [ERROR ][app....

28得票4回答
如何使用Logstash过滤器处理多行日志条目?

背景: 我有一个自定义生成的日志文件,其具有以下模式:[2014-03-02 17:34:20] - 127.0.0.1|ERROR| E:\xampp\htdocs\test.php|123|subject|The error message goes here ; array ( '...

24得票4回答
logstash的grok语法列表

grok模式的语法为%{SYNTAX:SEMANTIC}。我该如何生成所有可用的SYNTAX关键字列表?我知道可以使用grok调试器从文本中发现模式。但是否有一个列表可以浏览?

19得票1回答
Logstash - 从 JSON 文件中删除深层字段

我有一个JSON文件,通过logstash发送给ES。如果该字段的值为NULL,我想从JSON中删除一个深层字段。 JSON的一部分如下:"input": { "startDate": "2015-05-27", "numberOfGuests": 1, ...

14得票4回答
使用Grok解析Apache2错误日志,为Logstash做准备。

我正在尝试解析我的Apache2错误日志,但遇到了一些麻烦。它似乎无法匹配筛选器。我很确定时间戳部分有问题,但不确定,而且我找不到任何文档来弄清楚它。此外,是否有方法可以将fields.errmsg中的内容发送给我@message? 日志[Wed Jun 26 22:13:22 2013] ...

14得票1回答
Logstash _grokparsefailure问题

我在使用Grok解析时遇到了问题。在ElasticSearch/Kibana中,我匹配的行会显示标签_grokparsefailure。这是我的Logstash配置:input { file { type => logfile path => ["...

14得票2回答
使用Grok过滤器创建嵌套字段作为结果。

我有一个Drupal监控系统日志文件,我想将其解析成两个嵌套字段,即系统日志部分和消息部分,以便获得以下结果。syslogpart: { timestamp: "", host: "", ... }, messagepart:{ parsedfield1: "", pars...