# 1. Topic 확인먼저 내가 가진 토픽이 뭔지 정확히 알아야 하므로 아래 커맨드로 확인 합니다. 1234567nakjunizm@localhost[/kafka/bin]./kafka-topics.sh --list --zookeeper localhost:3181...MyTopic1MyTopic2MyTopic3__consumer_offsets... # 2.
** 이 포스트는 ELK(+beats)를 이용한 apache log visualization 의 후속 포스트로써 logstash 대신 elasticsearch 의 ingest node 를 사용하는 방법을 소개 합니다. ** filebeat-logstash-elasticsearch stack을 이용하여 kibana에서 대시보드를 구성하는 방법을 알아봤었습니다
2020 업데이트!** 현재는 kibana 에서 손쉽게 라이선스를 업데이트 할 수도 있으니 참고하세요 **https://www.elastic.co/guide/en/kibana/current/managing-licenses.html Elasticsearch를 운영 하면서 X-pack 에 포함되어 있는 Monitoring 이나 Devtool 등을 사용하면 얻을
Windows 2012/R2 # 증상사용자가 로그아웃을 시도했는데 “System Event Notification Service 준비 중….” 메세지가 화면에서 뱅글뱅글 돌고 로그아웃은 되지 않는 경우 # 해결운영중인 시스템에서 ** 재부팅을 하지 않고 ** 해결 가능한 방법 입니다. 1sc queryex sens 를 치면 System Event Notif
file beats+logstash+elasticsearch+kibana를 이용하여apache 로그에서 의미있는 데이터를 시각화 하는 방법을 알아보겠습니다. # 설치Elastic stack 설치는 대부분 압축 해제하고 yml 로 된 설정파일을 수정하는것으로 끝납니다.Elastic Search의 경우 OS 셋팅변경이 필요할 수도 있으니 여기를 참조하세요. #
# Redis Persistence modeRedis는 데이터를 메모리에 올려놓고 쓰기 때문에 Redis가 down되면서 데이터가 날아가는 것을 방지 하기 위해 두가지의 persistence 모드를 제공 합니다. RDB AOF 1. RDBRDB persistence는 point-in-time snapshot을 사용자가 지정한 inverval 마다 찍어서
# ElasticSearch Shard Initialize fail 시 강제로 locate 시키는 방법어떤 이유에선지 shard의 initialize가 실패하고 unassigned shard상태로 남아있다면 강제로 특정 노드로 옮겨줘야 할 필요가 있습니다. 12345678910111213POST _cluster/reroute{ "com
# 권장 메모리 할당량ES의 힙 사이즈는 전체 서버가 가진 메모리의 반을 설정하는 것을 권장하고, 64GB 이상의 메모리를 가지고 있는 서버라고 할지라도 30.5GB 이상을 ES에 할당하는것은 권장하지 않습니다. 예를들어 32GB의 메모리를 가진 서버라면 ES에 16GB 할당. 64GB의 메모리를 가진 서버라면 ES에 30.5GB 할당.128GB의 메모리
# 클러스터에서 노드가 제외되는 현상ElasticSearch 에서는 Fault Detection을 위해 master->nodes, nodes->master 양방향으로 주기적으로 ping을 날립니다.아무 설정을 하지 않았다면 1초마다 ping을 날리고, 30초 동안 응답이 없으면 3번 재시도 후 최종적으로 fault라고 단정짓고 해당 노드를 클러
bulk indexing을 하고 있거나 검색을 heavy 하게 날리고 있을때 클러스터 헬스는 그린으로 멀쩡한거 하지만 뭔가 퍼포먼스가 너무 떨어지는 느낌이 들때가 있습니다.클러스터 로그를 살펴봐도 별다른점을 못찾겠고 어디서 부터 살펴봐야 할지 난감한데요 이럴 때 참고하면 좋은 몇가지 api들을 소개하겠습니다. # 1. pending task 확인1curl