본문 바로가기

도서,강의 요약

 (19)
ML lab 07-1: training/test dataset, learning rate, normalization 해당 자료는 "모두를 위한 머신러닝/딥러닝 강의"를 보고 개인적으로 정리한 내용입니다. http://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io 본 실습의 tensorflow는 1.x 버전입니다. Non-normalized 값에 의해 예측값을 제대로 연산하지 못하는 경우 import tensorflow.compat.v1 as tf tf.disable_v2_behavior() #tensorflow v1호환 import numpy as np # 마지막 열 값이 Y # X변수 중간에 큰 값이 중간에 섞여있음(Non-normalized) xy = np.array([[828.659973, 833.450012, 908100, 828.349976, 831.65..
lec 07-2: Training/Testing 데이타 셋 해당 자료는 "모두를 위한 머신러닝/딥러닝 강의"를 보고 개인적으로 정리한 내용입니다. http://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io Evaluation을 잘 하는 방법 전체 데이터셋 중 70% 정도만 학습에 사용 나머지 30%는 테스트 셋으로 구성하여 품질 평가 Validation set training set으로 학습한 모델에서 조금 더 정교하게 튜닝하기 위한 data set cost 함수 등에서 사용되는 상수(람다, learning rate 등)을 튜닝 Online learning training set이 큰 경우 한번에 학습할 경우 메모리 등 리소스가 많이 필요 training set을 여러개로 분리하여 학습 한번 학습한 결과는 ..
lec 07-1: 학습 rate, Overfitting, 그리고 일반화 (Regularization) 해당 자료는 "모두를 위한 머신러닝/딥러닝 강의"를 보고 개인적으로 정리한 내용입니다. http://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io learning rate cost function 의 그래프 gradient descent 알고리즘에 의해 learning rate 만큼 이동 learning rate를 큰 값을 주는 경우 cost가 가장 작은 곳으로 이동하지 못하고 결국 더 큰 cost 값으로 발산 overshooting learning rate를 작은 값을 주는 경우 cost가 가장 작은 곳으로 이동하지 못하고 중단 보통 cost 값이 변경되지 않는 것처럼 보임 적절한 learning rate를 산정하는 방법 없음 보통 0.01 정도로..
ML lab 06-2: TensorFlow로 Fancy Softmax Classification의 구현하기 해당 자료는 "모두를 위한 머신러닝/딥러닝 강의"를 보고 개인적으로 정리한 내용입니다. http://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io 본 실습의 tensorflow는 1.x 버전입니다. Softmax Classification 코드 구현 import tensorflow.compat.v1 as tf tf.disable_v2_behavior() #tensorflow v1호환 import numpy as np # Predicting animal type based on various features xy = np.loadtxt('data-04-zoo.csv', delimiter=',', dtype=np.float32) #x_data = xy[..
ML lab 06-1: TensorFlow로 Softmax Classification의 구현하기 해당 자료는 "모두를 위한 머신러닝/딥러닝 강의"를 보고 개인적으로 정리한 내용입니다. http://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io 본 실습의 tensorflow는 1.x 버전입니다. Softmax Classification을 Tensorflow로 구현 import tensorflow.compat.v1 as tf tf.disable_v2_behavior() #tensorflow v1호환 # X data는 행은 여러개, 열은 4개의 변수로 이루어져 있으므로 Shape는 [None,4] # Y data는 one hot encoding 된 형태로 0 = [1,0,0] , 1 = [0,1,0], 2=[0,0,1] x_data = [[1, 2,..
ML lec 6-2: Softmax classifier 의 cost함수 해당 자료는 "모두를 위한 머신러닝/딥러닝 강의"를 보고 개인적으로 정리한 내용입니다. http://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io 매트릭스를 이용해 N개의 값을 Classification 매트릭스를 각 각 곱하여 Y햇 3가지 값을 구할 수 있음 classification는 0,1 2가지로 구분이 되어야 하지만, W와 X곱 연산은 여러가지 값이 발생 이를 0 ~ 1 사이의 값으로 변환해주기 위한 것이 시그모이드 함수 Softmax Classifier Softmax Classifier를 통해 Y햇 값을 0~1사이의 값으로 변환 가능 변환된 값은 P라고 표현하고 합은 1이 됨. 즉 P는 확률로도 볼 수 있음 Cost function cro..
ML lec 6-1 - Softmax Regression: 기본 개념 소개 해당 자료는 "모두를 위한 머신러닝/딥러닝 강의"를 보고 개인적으로 정리한 내용입니다. http://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io Logistic Regression의 개념 시그모이드 함수 z가 작아질수록 Y가 0에 가까워지고, z가 커질수록 Y가 1에 가까워지는 형태의 함수 시그모이드 함수를 통해 예측값을 구하는 과정을 도식화 S는 시그모이드 함수를 의미 Y 바는 Y의 햇이라고 하고, 예측된 값을 의미 가설을 통해 찾으려는 것 학습을 통해 X와 ㅁ를 나누는 선을 찾는것 Multinomial classification 을 binary classification을 통해 접근 Multinomial은 Y값의 분류가 여러개라는 의미 bina..
ML lab 05: TensorFlow로 Logistic Classification의 구현하기 해당 자료는 "모두를 위한 머신러닝/딥러닝 강의"를 보고 개인적으로 정리한 내용입니다. http://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 hunkim.github.io 본 실습의 tensorflow는 1.x 버전입니다. 이론 가설 Cost함수 최적화를 위한 경사하강법 Logistic Classification을 Tensorflow로 구현 import tensorflow.compat.v1 as tf tf.disable_v2_behavior() #tensorflow v1호환 x_data = [[1, 2], [2, 3], [3, 1], [4, 3], [5, 3], [6, 2]] y_data = [[0], [0], [0], [1], [1], [1]] X = tf.placehol..

티스토리툴바