我是一名ELK堆栈的新用户。我使用UWSGI作为我的服务器。我需要使用Grok解析我的uwsgi日志,然后进行分析。
这是我的日志格式:-
我使用了这个链接来生成我的筛选器,但它没有解析出很多信息。
上述链接生成的筛选器为:
运行带有此配置文件的logstash时,我收到了一个错误消息,内容如下:
日期已经被正确格式化。如何从我的日志中提取其他信息,例如我的查询参数(文件名、开始时间、结束时间、设备ID等)、客户端IP、响应代码等。
这是我的日志格式:-
[pid: 7731|app: 0|req: 357299/357299] ClientIP () {26 vars in 511 bytes} [Sun Mar 1 07:47:32 2015] GET /?file_name=123&start=0&end=30&device_id=abcd&verif_id=xyzsghg => generated 28 bytes in 1 msecs (HTTP/1.0 200) 2 headers in 79 bytes (1 switches on core 0)
我使用了这个链接来生成我的筛选器,但它没有解析出很多信息。
上述链接生成的筛选器为:
%{SYSLOG5424SD} %{IP} () {26 vars in 511 bytes} %{SYSLOG5424SD} GET %{URIPATHPARAM} => generated 28 bytes in 1 msecs (HTTP%{URIPATHPARAM} 200) 2 headers in 79 bytes (1 switches on core 0)
这是我的logstash-conf文件。
input { stdin { } }
filter {
grok {
match => { "message" => "%{SYSLOG5424SD} %{IP} () {26 vars in 511 bytes} %{SYSLOG5424SD} GET %{URIPATHPARAM} => generated 28 bytes in 1 msecs (HTTP%{URIPATHPARAM} 200) 2 headers in 79 bytes (1 switches on core 0)" }
}
date {
match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
}
}
output {
stdout { codec => rubydebug }
}
运行带有此配置文件的logstash时,我收到了一个错误消息,内容如下:
{
"message" => "[pid: 7731|app: 0|req: 357299/357299] ClientIP () {26 vars in 511 bytes} [Sun Mar 1 07:47:32 2015] GET /?file_name=123&start=0&end=30&device_id=abcd&verif_id=xyzsghg => generated 28 bytes in 1 msecs (HTTP/1.0 200) 2 headers in 79 bytes (1 switches on core 0)",
"@version" => "1",
"@timestamp" => "2015-03-01T07:57:02.291Z",
"host" => "cube26-Inspiron-3542",
"tags" => [
[0] "_grokparsefailure"
]
}
日期已经被正确格式化。如何从我的日志中提取其他信息,例如我的查询参数(文件名、开始时间、结束时间、设备ID等)、客户端IP、响应代码等。
此外,是否有内置的UWSGI日志解析器可供使用,例如为Apache和Syslog构建的解析器?
编辑
我自己写了这个,但它仍然报错:
%{SYSLOG5424SD} %{IP:client_ip} () {%{NUMBER:vars} vars in %{NUMBER:bytes} bytes} %{SYSLOGTIMESTAMP:date} %{WORD:method} %{URIPATHPARAM:request} => generated %{NUMBER:generated_bytes} bytes in {NUMBER:secs} msecs (HTTP/1.0 %{NUMBER:response_code}) %{NUMBER:headers} headers in %{NUMBER:header_bytes} (1 switches on core 0)
编辑2
我终于能够自己破解它了。上述日志的GROK过滤器将是:
\[pid: %{NUMBER:pid}\|app: %{NUMBER:app}\|req: %{NUMBER:req_num1}/%{NUMBER:req_num2}\] %{IP:client_ip} \(\) \{%{NUMBER:vars} vars in %{NUMBER:bytes} bytes\} %{SYSLOG5424SD} %{WORD:method} /\?file_name\=%{NUMBER:file_name}\&start\=%{NUMBER:start}\&end\=%{NUMBER:end} \=\> generated %{NUMBER:generated_bytes} bytes in %{NUMBER:secs} msecs \(HTTP/1.0 %{NUMBER:response_code}\) %{NUMBER:headers} headers in %{NUMBER:header_bytes}
但我的问题仍然存在:
在grop中是否有默认的uwsgi日志过滤器?
我一直在为不同的查询参数应用不同的匹配。在grok中是否有可以自动获取不同查询参数的功能?