logstash grok 정규표현식

 

apache accesslog

1.1.2.2 - - [21/Jul/2022:15:14:31 +0900] "GET /common/json/agent.do?mhost=&userid=f37214ef1d004c28b3bf0b60&_=165837209471350329237139 HTTP/1.1" 200 165

정규 필터	의미
\w	한글자
\w+	한단어
\d	정수1자리
\d+	정수 전체
\s	공백 한칸
\s+	공백 전체
\특수문자	특수문자 구분

정규 필터	의미
.
?
+	사용자가 지정한 문자열의 마지막글자가 연속으로 나열된만큼 매칭. \w, \d 의 경우 문자나 숫자를 전부 읽어서 매칭하고 \s는 연속된 공백 1개이상에대해 매칭.
{}	사용자가 지정한 문자에 대해 반복횟수 지정하여 매칭
|	or연산자
()	부분집합
[]	대괄호 내부의 문자들을 매칭합니다. - (대시) 기호가 문자 사이에 있을경우 범위를 나타냄.

logstash grok

(?<ip>\d+\.+\d+\.+\d+\.+\d+) - - \[(?<day>\d+)\/(?<month>\w+)\/(?<year>\d+):(?<hour>\d+):(?<minute>\d+):(?<second>\d+) (?<utc>\+\d+)\] "(?<method>\w+) %{GREEDYDATA:url_info} HTTP/%{NUMBER:http_version}" (?<stdate>\d+) (?<byte>\d+)

result

{
  "ip": [
    "1.1.2.2"
  ],
  "day": [
    "21"
  ],
  "month": [
    "Jul"
  ],
  "year": [
    "2022"
  ],
  "hour": [
    "15"
  ],
  "minute": [
    "14"
  ],
  "second": [
    "31"
  ],
  "utc": [
    "+0900"
  ],
  "method": [
    "GET"
  ],
  "url_info": [
    "/common/json/agent.do?mhost=&userid=f37214ef1d004c28b3bf0b60&_=165837209471350329237139"
  ],
  "http_version": [
    "1.1"
  ],
  "stdate": [
    "200"
  ],
  "byte": [
    "165"
  ]
}

http://grokdebug.herokuapp.com/

Grok Debugger