Fluentd

배포

• 필요한파일 >> 각 파일들의 내용까지 세세하게 볼 필요가 있다면 보면 좋을 것 같다.
  Fluentd.yaml
  Config 파일 안에 disable.conf, fluent.conf, fluentd-env, kubernetes.conf, prometheus.conf, systemd.conf
  • Disable.conf : 내용이 아무것도 없음
  • Fluent.conf : destination setting, elasticsearch, kafka and etc
    • 어디로 fluentd의 데이터를 보낼건지 target을 정하는 역할을 하는 config
    • Elasticsearch host : elasticsearch-es-http.elasticsearch.svc.cluster.local
    • Port : 9200
    • Scheme : http
  • Fluentd-env : fluentd에서 사용하는 환경변수가 존재
  • Kubernetes.conf : k8s 설정. Log 파일과 메타데이터 필터의 tail input (text file에 가장 끝부분에 추가 된 부분 = 새롭게 추가된 부분)
  • Prometheus.conf : fluentd로 모니터링할 수 있는 prometheus 플러그인
  • Systemd.conf : systemd-journal 로그를 수집하게 해주는 systemd 플러그인
  • (tail_container_parse.conf : /var/log/containers/*.log 파싱 관련)

명령어)

Fluentd의 namespace를 elasticsearch로 변경

kustomize build | kubectl apply –f -

Kustomize build | kubectl delete -f -

 

Fluentd 보다 가벼운 버전 Flunet Bit

 

Tail input : text file의 끝부분 = 새롭게 추가된 부분