본문 바로가기

전체 글

(66)
파이참의 Git 참고사항 파이참 저장소 2개 추가하기 git > manage remotes > name과 url 입력 후 추가 fetch 누르면 새로운 저장소의 이력이 추가되어 Log 확인 가능 일반적으로 upstream이라고 부름 파이참 특이사항 master 브랜치의 force push가 보호되어 있음. 해제하려면 file - setting - version control - git - protect branches에 master로 적힌 것 삭제
Git 정리 Git 명령어 git status: git 워킹트리의 상태를 보여줌 git init: 로컬 레파지토리 생성 git add 파일: 커밋할 파일을 스테이지에 추가 git commit -m “메세지” : 커밋 메세지와 함께 커밋. 첫 커밋시에는 아래 계정정보 입력이 먼저 필요 git config --global user.email "you@example.com" :계정정보 입력 git config --global user.name "Your Name" :계정정보 입력 git log: 로그 보기 git log –oneline –graph –decorate -all: 모든 브랜치를 보기쉽게 보여줌 git checkout 체크썸7자리: 해당 체크썸으로 이동 git remote add 원격저장소명 git주소: git..
wsl docker에서 Sql server 설치 https://rangsub.tistory.com/112?category=981341 docker logs containerID 명령어 wsl로 wsl 실행 명령어 ifconfig 실행 (없다면 apt install net-tools 로 설치) IP확인 SSMS에서 해당 IP로 입력 참고로 1433인 경우 해당 IP만 입력. 1433이 아니면 IP,1433로 표기
WSL2설치와 docker 설치 WSL 2설치와 도커데스크탑으로 구성하기 https://www.44bits.io/ko/post/wsl2-install-and-basic-usage WSL2(Windows Subsystem for Linux 2) 설치 및 사용 방법 지난 5월 윈도우10의 대규모 업데이트가 있었습니다. 이번 업데이트에는 WSL2 정식 릴리스가 포함되어있습니다. WSL은 경략 가상화 기술을 통해 윈도우에서 리눅스 배포판을 사용할 수 있게 도와 www.44bits.io WSL 2설치와 도커 데스크탑 없이 구성하기 wsl2와 도커 엔진 설치 : https://www.bearpooh.com/92 윈도우 10에서 Docker Desktop 없이 Docker 사용하기 Docker Desktop 유료 전환 발표 Docker Inc.는 ..
카프카 기본 개념 정리 이 글은 데브원영님께서 유튜브에 올려주신 카프카 강의를 정리한 내용입니다. url: https://www.youtube.com/playlist?list=PL3Re5Ri5rZmkY46j6WcJXQYRlDRZSUQ1j 📝강의 - 아파치 카프카 빅데이터에서 가장 많이 쓰이는 아파치 카프카에 대한 강의입니다. [아파치 카프카 애플리케이션 프로그래밍 with 자바] 책 구매하러가기 👉http://www.yes24.com/Product/Goods/99122569 www.youtube.com 소개 링크드인에서 개발한 오픈소스로 고가용성과 높은 처리량을 지원 구조와 개념 구성소개 프로듀서: 데이터를 카프카로 입력하는 역할 컨슈머: 카프카에서 데이터를 가져가는 역할 토픽 데이터가 저장되는 공간(DB의 Table과 유사한..
정밀도와 재현율 혼동행렬(Confusion Matrix) 정밀도(precision) TP / (FP + TP) True로 예측한 값 중 예측을 맞춘 비율 재현율(recall) TP / (FN + TP) 실제 True 중 예측을 맞춘 비율 정밀도와 재현율의 관계 트레이드 오픈 관계 A가 높아지면 반대로 B는 감소하는 관계 Score를 높이는 경우( = 예측 정확도를 높게 설정하는 경우) 혼동행렬의 Prediction 중 FALSE는 증가하고, TRUE는 감소 높은 확률에서만 TRUE로 보기 때문에 TRUE는 감소 FP가 감소하게 되어 precision의 분모가 적어져서 결국 precision의 값은 증가 Score를 낮추는 경우( = 예측 정확도를 낮게 설정하는 경우) 혼동행렬의 Prediction 중 FALSE는 감소하..
ROC AUC 정의 ROC 분류 문제에서 성능 평가에서 사용 0.5 ~ 1 사이의 값을 갖음 FPR을 x축, TPR을 y축으로 놓은 그래프 FPR(False Positive Rate) (1을 맞추는 문제) 실제는 0중 1로 예측한 비율 1 - 특이도 특이도 (1을 맞추는 문제) 실제 0중 0으로 예측한 비율 TN / N TPR(True Positive Rate) (1을 맞추는 문제) 실제 1중 1로 예측한 비율 TP / P recall과 동일한 의미 민감도라고 부름 AUC 임의의 커브에 대한 면적을 의미 ROC AUC => ROC 그래프의 아래 면적을 의미 ROC AUC의 성능 비교 면적이 더 큰 것이 좋은 성능 아래 그림의 경우 B가 더 좋은 성능
데이터 관련 직군 Data Engineer 개발자 성향 하는 일 데이터 수집 데이터 레이크 및 파이프라인 관리 각종 소스의 데이터를 분석하기 위한 데이터를 모으는 파이프 라인을 개발 데이터 분석가에 제공할 대시보드 개발 데이터 마트 및 통계 개발 기술 Hadoop MR, Hive, Spark 등 분산 처리 기술 대용량/실시간 데이터 분산 처리 시스템 설계 및 운영 AWS, GCP등 클라우드 환경에서의 데이터 파이프라인 구축 및 운영 GA, Tableau 등 외부 분석/시각화 도구에 대한 지식 Python, Java, Scala 중 하나 이상을 이용한 개발 경험 Machine Learning Engineer 개발자 성향이되 ML,DL을 기반으로 함 하는 일 ML 모델 개발, 학습, 배포를 수행 Product 팀과의 협업을 ..