2017/11 8

김성훈 딥러닝 7 - 학습 rate, Overfitting, 일반화

Lec 07-1 학습 rate, Overfitting, 일반화(Regularization) https://www.youtube.com/watch?v=1jPjVoDV_uo Learning_rate : 이제까지는 임의의 값을 사용했음이 값을 크게 할 경우, 진동하거나 발산(overshooting)할 수 있음.아주 작은 값을 사용할 경우, 시간이 너무 많이 걸리고, local minimum에서 정지어떤 값이 좋은가는 특별한 법칙은 없다. 0.01로 시작하고, 나오는 cost 값에 따라서 줄이거나 늘리는 방법을 사용하면 된다.Data(X)의 전처리. (Gradient descent용)아래와 같이 x1, x2의 범위가 차이가 크면, 왜곡된 형태가 되어 데이터 처리가 힘들 수 있다.이 경우, 아래와 같이 중심을 원..

기타/WWW 2017.11.19

김성훈 딥러닝 6 - Softmax Regression

Lec 6-1 Softmax Regression 기본개념 https://www.youtube.com/watch?v=MFAnsx1y9ZI복습H(x) = WX 와 같이 Linear Regression으로부터 출발한다. 그러나, 이런 $WX$ 형태의 단점은, 출력이 $-\infty \lt H_L(x) \lt~\infty$ 이므로, 0이냐 1이냐를 고르는 문제에서는 적합하지 않다.그래서 $z = H_L (X)$라고 놓고, 이 값을 0부터 1로 압축할 수 있는 $g(z)$ 함수를 사용하여 해결한다. 이에 가장 적합한 $g(x)$는 sigmoid라고 하는 $g(z) = \frac {1}{1+e^{-z}}$ 이다. 이를 적용했을 때의 Hypothesis는 $H_R (X) = g(H_L (X))$ 가 된다.수식이 많아..

기타/WWW 2017.11.17

김성훈 딥러닝 5 - Logistic Classification의 가설함수 정의

Lec 05-1 - Logistic Classification의 가설함수 정의 https://www.youtube.com/watch?v=PIjno6paszYNeural network과 관계가 깊음.Binary Classification은 두가지 범주로 나누는 것 -> 0, 1 encodingSpam or HamShow or Hide주식 Buy/SellLinear Regression으로 가능한가?예를 들어 0.5 정도 이하면 Fail로 두면 될텐데, 50과 같은 값으로 인해, (대칭이 이루어지지 않아) 합격/불합격 선이 바뀌게 될 수 있다.또한 출력이 0 이하나 1 이상으로 나올 수 있다.... 별로 좋지 않다.그래서 Logistic Hypothesis 가 필요. (출력 범위가 0에서 1까지)아래와 같은 ..

기타/WWW 2017.11.16

김성훈 딥러닝 4 - 다변수(Multi-variable) Linear Regression

Lec 04 - 다변수(Multi-variable) Linear Regression https://www.youtube.com/watch?v=kPxpJY6fRkY복습선형 회귀분석을 위해서는 1) 가설(Hypothesis)를 세우고, 2) 비용(Cost/Loss) 함수를 만든 뒤, 3) Gradient descent 알고리듬을 적용한다.비용함수를 결정하고, 이를 최소로 줄이는 W, b를 찾는 것이 학습을 시키는 과정이다.단변수 회귀분석에서는, X=[x1, x2, .... , xn], Y=[y1, y2, ... , yn] 의 형태가 됨.다변수 회귀분석은X=[[x11, x12, .... , x1m],[x21, x22, .... , x2m], ..., [xn1, xn2, .... , xnm]], Y=[y1, y..

기타/WWW 2017.11.16

김성훈 딥러닝 3 - Linear Regression 의 cost 최소화 알고리듬

Lec 03 - Linear Regression 의 cost 최소화 알고리듬의 원리 https://www.youtube.com/watch?v=TxIVr-nk1so복습 : 선형회귀분석 모델의 가설(Hypothesis)과 비용함수(Cost function) 설명을 위해 H(x) = W(x)로 두고 진행W=1 일때의 cost(W)는?cost(W) = 1/3( (1x1 -1)^2 + (1x2 - 2)^2 + (1x3 -3)^2 ) =0W=0 일때의 cost?cost(W) = 1/3( (0x1 -1)^2 + (0x2 -2)^2 + (0x3 -3)^2 ) = 1/3 (1+4+9) = 4.67W=2 일때... cost = 4.67... 많은 값에 대해 cost()의 그래프를 그리면널리 사용되는 알고리듬이 Gradie..

기타/WWW 2017.11.15

김성훈 딥러닝 2 - Linear Regression의 가설(Hypothesis)과 비용(cost) 설명

Lec 02 - Linear Regression의 가설(Hypothesis)과 비용(cost) 설명 https://www.youtube.com/watch?v=Hax03rCn3UI시험성적 예측 (supervised learning) 선형 회귀분석x(hours), y(score) ->[[10,90], [9,80], [3,50], [2,30]] 의 경우.regression 모델로 training 시킴예(x,y) ->[[1,1], [2,2], [3,3]] 의 경우가설(Hypothesis) : linear regression.최적의 선을 찾는 것이 학습과정선형 회귀분석의 가설 : H(x) = Wx + b 에서, 가장 좋은 W와 b 를 찾아야 함.어떤 가설이 좋은지를 찾는다는 것은, 실제 데이터와, 가설 H(x)에..

기타/WWW 2017.11.15

김성훈 딥러닝 1 - 머신러닝 용어와 개념

Lec 00 - 머신/딥러닝 수업의 개요와 일정 https://www.youtube.com/watch?v=BS6O0zOGX4E알파고의 충격. Dr. Andrew Ng 님의 주장 - 머신러닝을 잘 이해하는 것이 슈퍼파워를 가지는 것.그렇지 못한 사람에 비해 앞서나갈 수 있다.누가 봐야 하나머신러닝에 대해 이해하고 싶은 사람수학이나 컴퓨터 공학에 대해 잘 모르는 사람기본적인 이해 만으로 머신러닝을 블랙박스처럼 사용하고 싶은 사람Tensorflow 와 Python을 사용하고 싶은 사람.목표머신러닝 알고리듬에 대한 기본적인 이해Linear regression, Logistic regression (Classification)Neural networks, Convolutional Neural Network, Re..

기타/WWW 2017.11.14

김성훈 Tensorflow

Lab1 : TensorFlow 기본 TensorFlow 설치- https://www.tensorflow.org/install/- Anaconda 설치후, Anaconda Prompt 를 실행한 후 나머지 실행- GPU 버전의 경우, 별도의 conda environment 를 설치한 후 실행>> import tensorflow as tfTensorFlow 실행 예제import tensorflow as tf node1 = tf.constant(3.0) node2 = tf.constant(4.0) node3 = tf.add(node1, node2)sess = tf.Session() print(sess.run([node1, node2])) print(sess.run(node3) TensorFlow 실행 단계-..

기타/WWW 2017.11.13