본문 바로가기

전체 글

 (66)
nginx 로그 - fluent - pubsub - apache-beam 샘플 코드 샘플 코드: https://github.com/kimyk85/study GitHub - kimyk85/study Contribute to kimyk85/study development by creating an account on GitHub. github.com 설명 Nginx 컨테이너의 docker logging로 fluentd 로그 전송 fluentd에서 Nginx의 Access Log만 필터하여 pubsub으로 전송하고 stdout 출력 pubsub에 수집된 로그를 apache-beam 코드로 가져와서 출력
fluentd-pubsub 예제 httpd의 access 로그를 fluentd로 수집하여 Google Pubsub으로 전송하는 예제 실습환경 windows 11에서 wsl 설정하여 docker 실행 Google 클라우드 Pubsub 설정 https://console.cloud.google.com/cloudpubsub/topic/list 접근하여 "주제 만들기" 클릭 생성시 "기본 구독 추가" 를 클릭하여 생성하면 기본으로 구독이 추가 Google 클라우드의 서비스 계정 발급과 권한 설정 https://console.cloud.google.com/iam-admin/iam 으로 이동하여 "서비스 계정" 클릭 "서비스 계정 만들" 클릭 후 서비스 계정 이름 입력 후 완료. 다른 선택사항은 권한 관련으로 추후 설정 가능 IAM 메뉴로 이동하여..
fluentd example(docker-compose) fluentd 공식 홈페이지에 게시된 실습 코드로 docker-compose 예제를 수행해 볼 수 있다. https://docs.fluentd.org/container-deployment/docker-compose Docker Compose - Fluentd 60a8c3c8fcab httpd "httpd-foreground" 6 minutes ago Up 6 minutes 0.0.0.0:80->80/tcp, :::80->80/tcp fluentd-elastic-kibana_web_1 43df4d266636 fluentd-elastic-kibana_fluentd "tini -- /bin/entryp…" 6 minutes ago Up 6 minutes 5140/tcp, 0.0.0.0:24224->24224/..
fluentd example(docker logging driver) fluentd를 docker로 설치하고 logging driver로 fluentd를 설정할 수 있다. fluentd 홈페이지 실습 문서를 참고하면 쉽게 이해가 가능하다 https://docs.fluentd.org/container-deployment/docker-logging-driver Docker Logging Driver - Fluentd 2019-08-21 00:51:02 +0000 [info]: spawn command to main: cmdline=["/usr/bin/ruby", "-Eascii-8bit:ascii-8bit", "/usr/bin/fluentd", "-c", "/fluentd/etc/demo.conf", "-p", "/fluentd/plugins", "--under-supervi..
td-agent 설정 , @include, , , , 6가지 디렉티브로 구성 Fluentd 자체의 동작 및 로그 출력 부분의 상세 설정을 커스터마이즈할 수 있음 Fluentd를 실행할 때 커맨드라인의 파라미터로 /etc/sysconfig/td-agent를 커스터마이즈하는 것과 같은 효과 예제 log_level info #로그의 출력 레벨을 지정. trace, debug, info, warn, error, fatal suppress_repeated_stacktrace true #ture 로 설정되면 연속된 같은 에러 생략 emit_error_log_interval 60s #지정된 (초)시간 동안 같은 에러 생략 suppress_config_dump true #true로 설정되면 설정 파일의 표준 로그 출력 생략 without_..
wsl에서 docker 에러 "cgroups: cannot find cgroup mount destination" wsl 에서 docker 로 컨테이너를 2개 이상 실행시 에러가 발생하는 경우 wsl에서 실행 sudo mkdir /sys/fs/cgroup/systemd sudo mount -t cgroup -o none,name=systemd cgroup /sys/fs/cgroup/systemd 참고: https://github.com/microsoft/WSL/issues/4189
Docker에 td-agent(fluentd) 설치 Windows에 WSL로 Docker 구축 참고: 2021.09.15 - [IT 기본] - WSL2에서 docker 설치 설치 방법 1. CentOS 설치(CentoOS 7버전으로 설치) docker pull centos:7 docker run --privileged -d --name mycentos72 centos:7 /sbin/init docker exec -it mycentos72 /bin/bash centos 7버전 이미지 다운로드 docker run --privileged 옵션은 systemctl 명령어 사용시 "Failed to get D-Bus connection: Operation not permitted" 에러가 발생을 해결하기 위해 privileged 모드로 실행 mycentos72 이..
도커 정리 가상머신과 도커 컨테이너 차이 가상머신: 성능 손실이 발생. 이미지 크기 큼(커널, 라이브러리 등 전부 포함) 도커 컨테이너: 성능 손실이 거의 없음. 가상머신대비 이미지 크기가 작음(커널 등을 호스트와 공유해 사용) 도커의 장점 컨테이너는 호스트 OS와 격리된 공간이기 때문에 여러 소프트웨어를 설치해도 호스트 OS에는 영향이 없어서 독립된 개발 환경 보장이 가능 커널 등을 포함하지 않아 이미지 크기가 커서 어플리케이션 배포에 용이 윈도우 도커 설치 2가지 방법 Docker Desktop for Windows 설치 윈도우에서 WSL에 설치 방법: https://kimyk85.tistory.com/entry/WSL2%EC%97%90%EC%84%9C-docker-%EC%84%A4%EC%B9%98 기본적인 도..

티스토리툴바