본문 바로가기

파이프라인

(6)
nginx 로그 - fluent - pubsub - apache-beam 샘플 코드 샘플 코드: https://github.com/kimyk85/study GitHub - kimyk85/study Contribute to kimyk85/study development by creating an account on GitHub. github.com 설명 Nginx 컨테이너의 docker logging로 fluentd 로그 전송 fluentd에서 Nginx의 Access Log만 필터하여 pubsub으로 전송하고 stdout 출력 pubsub에 수집된 로그를 apache-beam 코드로 가져와서 출력
fluentd-pubsub 예제 httpd의 access 로그를 fluentd로 수집하여 Google Pubsub으로 전송하는 예제 실습환경 windows 11에서 wsl 설정하여 docker 실행 Google 클라우드 Pubsub 설정 https://console.cloud.google.com/cloudpubsub/topic/list 접근하여 "주제 만들기" 클릭 생성시 "기본 구독 추가" 를 클릭하여 생성하면 기본으로 구독이 추가 Google 클라우드의 서비스 계정 발급과 권한 설정 https://console.cloud.google.com/iam-admin/iam 으로 이동하여 "서비스 계정" 클릭 "서비스 계정 만들" 클릭 후 서비스 계정 이름 입력 후 완료. 다른 선택사항은 권한 관련으로 추후 설정 가능 IAM 메뉴로 이동하여..
fluentd example(docker-compose) fluentd 공식 홈페이지에 게시된 실습 코드로 docker-compose 예제를 수행해 볼 수 있다. https://docs.fluentd.org/container-deployment/docker-compose Docker Compose - Fluentd 60a8c3c8fcab httpd "httpd-foreground" 6 minutes ago Up 6 minutes 0.0.0.0:80->80/tcp, :::80->80/tcp fluentd-elastic-kibana_web_1 43df4d266636 fluentd-elastic-kibana_fluentd "tini -- /bin/entryp…" 6 minutes ago Up 6 minutes 5140/tcp, 0.0.0.0:24224->24224/..
fluentd example(docker logging driver) fluentd를 docker로 설치하고 logging driver로 fluentd를 설정할 수 있다. fluentd 홈페이지 실습 문서를 참고하면 쉽게 이해가 가능하다 https://docs.fluentd.org/container-deployment/docker-logging-driver Docker Logging Driver - Fluentd 2019-08-21 00:51:02 +0000 [info]: spawn command to main: cmdline=["/usr/bin/ruby", "-Eascii-8bit:ascii-8bit", "/usr/bin/fluentd", "-c", "/fluentd/etc/demo.conf", "-p", "/fluentd/plugins", "--under-supervi..
td-agent 설정 , @include, , , , 6가지 디렉티브로 구성 Fluentd 자체의 동작 및 로그 출력 부분의 상세 설정을 커스터마이즈할 수 있음 Fluentd를 실행할 때 커맨드라인의 파라미터로 /etc/sysconfig/td-agent를 커스터마이즈하는 것과 같은 효과 예제 log_level info #로그의 출력 레벨을 지정. trace, debug, info, warn, error, fatal suppress_repeated_stacktrace true #ture 로 설정되면 연속된 같은 에러 생략 emit_error_log_interval 60s #지정된 (초)시간 동안 같은 에러 생략 suppress_config_dump true #true로 설정되면 설정 파일의 표준 로그 출력 생략 without_..
카프카 기본 개념 정리 이 글은 데브원영님께서 유튜브에 올려주신 카프카 강의를 정리한 내용입니다. url: https://www.youtube.com/playlist?list=PL3Re5Ri5rZmkY46j6WcJXQYRlDRZSUQ1j 📝강의 - 아파치 카프카 빅데이터에서 가장 많이 쓰이는 아파치 카프카에 대한 강의입니다. [아파치 카프카 애플리케이션 프로그래밍 with 자바] 책 구매하러가기 👉http://www.yes24.com/Product/Goods/99122569 www.youtube.com 소개 링크드인에서 개발한 오픈소스로 고가용성과 높은 처리량을 지원 구조와 개념 구성소개 프로듀서: 데이터를 카프카로 입력하는 역할 컨슈머: 카프카에서 데이터를 가져가는 역할 토픽 데이터가 저장되는 공간(DB의 Table과 유사한..