본문 바로가기

파이프라인

nginx 로그 - fluent - pubsub - apache-beam 샘플 코드

 

샘플 코드: https://github.com/kimyk85/study

 

GitHub - kimyk85/study

Contribute to kimyk85/study development by creating an account on GitHub.

github.com

 

설명

  • Nginx 컨테이너의 docker logging로 fluentd 로그 전송
  • fluentd에서 Nginx의 Access Log만 필터하여 pubsub으로 전송하고 stdout 출력
  • pubsub에 수집된 로그를 apache-beam 코드로 가져와서 출력

'파이프라인' 카테고리의 다른 글

fluentd-pubsub 예제  (0) 2023.01.01
fluentd example(docker-compose)  (1) 2022.12.25
fluentd example(docker logging driver)  (0) 2022.12.16
td-agent 설정  (0) 2022.12.11
카프카 기본 개념 정리  (0) 2021.05.31