logstash grok 정규표현식
# DataBase/Elasticsearch2022. 9. 2. 15:12logstash grok 정규표현식

apache accesslog 1.1.2.2 - - [21/Jul/2022:15:14:31 +0900] "GET /common/json/agent.do?mhost=&userid=f37214ef1d004c28b3bf0b60&_=165837209471350329237139 HTTP/1.1" 200 165 정규 필터 의미 \w 한글자 \w+ 한단어 \d 정수1자리 \d+ 정수 전체 \s 공백 한칸 \s+ 공백 전체 \특수문자 특수문자 구분 정규 필터 의미 . ? + 사용자가 지정한 문자열의 마지막글자가 연속으로 나열된만큼 매칭. \w, \d 의 경우 문자나 숫자를 전부 읽어서 매칭하고 \s는 연속된 공백 1개이상에대해 매칭. {} 사용자가 지정한 문자에 대해 반복횟수 지정하여 매칭 | or연산자 () 부분집합..

kibana 8.2.3 install
# DataBase/Elasticsearch2022. 6. 17. 13:56kibana 8.2.3 install

다운로드 https://www.elastic.co/kr/downloads/kibana Download Kibana Free | Get Started Now Download Kibana or the complete Elastic Stack (formerly ELK stack) for free and start visualizing, analyzing, and exploring your data with Elastic in minutes. www.elastic.co kibana 레포지토리 추가 [darksharavim.tistory.com]vi /etc/yum.repos.d/kibana.repo # 아래내용 추가 [kibana-8.x] name=Kibana repository for 8.x packages ..

logstash 8.2.3 install
# DataBase/Elasticsearch2022. 6. 17. 13:34logstash 8.2.3 install

다운로드 https://www.elastic.co/kr/downloads/logstash Download Logstash Free | Get Started Now Download Logstash or the complete Elastic Stack (formerly ELK stack) for free and start collecting, searching, and analyzing your data with Elastic in minutes. www.elastic.co 설치환경 [darksharavim.tistory.com]cat /etc/redhat-release Rocky Linux release 8.6 (Green Obsidian) logstash 레포지토리 추가 [darksharavim.tist..

apache error log logstash grok pattern
# DataBase/Elasticsearch2021. 4. 14. 15:24apache error log logstash grok pattern

아파치 에러로그 [Sun Jan 31 16:07:40.266665 2021] [access_compat:error] [pid 14356] [client 18.183.46.74:50067] AH01797: client denied by server configuration: /DATA/darksharavim/html/xmlrpc.php grok filter 설정값 \[(?%{DAY:day} %{MONTH:month} %{MONTHDAY} %{TIME} %{YEAR})\] \[.*:%{LOGLEVEL:loglevel}\] \[pid %{NUMBER:pid}\] \[client %{IP:clientip}:.*\] %{GREEDYDATA:errormsg} 결과값 { "timestamp": [ "Sun Jan 3..

logstash debug test
# DataBase/Elasticsearch2021. 4. 6. 10:29logstash debug test

JSON데이터 준비 # vi cat SendMessage.json {"Hello": "World"} logstash debug test 파일생성 # vi /etc/logstash/conf.d/test.conf input { tcp { port => 5050 codec => json } } output { file { path => "/var/log/logstash/logstash.log" codec => rubydebug } } 5050포트로 json데이터를 받으면 output경로에 로그가 쌓이게끔 설정 실행 및 포트 확인 # /usr/share/logstash/bin/logstash -f test.conf Using JAVA_HOME defined java: /apps/java WARNING, usin..

image