#wannabeeeeeee the best DataScientist

◎ Long Short-Term Memory (LSTM) Vanilla RNN을 개선한 LSTM 구조 기억할 것은 오래 기억하고, 잊을 것은 빨리 잊어버리는 능력이 있다. 단점 : 학습 매개변수가 많고 학습 노하우가 중요 ※ Cell State - 기억을 오랫동안 유지할 수 있는 구조, 새로운 특징을 덧셈으로 받는 구조(Residual Network) + RNN과 달리 Cell State가 있어서 '기억'에 관한 부분을 전담한다. ※ Hidden State - 계층의 출력/다음 타임 스텝으로 넘기는 정보 ※ Forget Gate - Sigmoid 활성 함수로, 0~1의 출력 값을 가짐, Cell state에 이를 곱해 주어서 '얼만큼 잊은지'를 결정 ※ Input Gate - Sigmoid 활성 함수로,..

◎ 역전파 알고리즘 ※ 심층 신경망의 각 Layer를 하나의 함수로 본다면, 신경망을 합성 함수로 표현할 수 있다. ※ 미분의 연쇄 법칙과 각 함수의 수식적 미분을 이용하면, 단 한 번의 손실 함수 평가로 미분을 구할 수 있다. ※ 역전파 알고리즘의 문제점 : 1. 기울기 소실 문제 : 역전파 계층이 많아질 수록 학습이 잘 되지 않는다. ◎ 뉴럴 네트워크의 학습 ● Vanilla Gradient Descent : Gradient를 한번 업데이트 하기 위해 모든 학습 데이터를 사용한다. ● Stochastic GD (SGD) : Gradient를 한번 업데이트 하기 위해 일부의 데이터만 사용한다. ● Mini-Batch 학습법 : 학습 데이터 전체를 한번 학습하는 것을 Epoch, 한 번 Gradient를..

◎ 인공 지능 : 기계가 사람의 행동을 모방하게 하는 기술 ◎ 기계 학습 : 데이터로부터 학습하여 실행할 수 있도록 하는 알고리즘을 개발하는 연구 분야 ◎ 딥러닝 : 기계 학습의 한 분야인 인공 신경망에 기반하여, 많은 양의 데이터를 학습해 뛰어난 성능을 이끌어내는 연구 분야 ◎ 퍼셉트론 : 신경 세포를 이진 출력의 단순 논리 게이트로 해석하여 고안한 퍼셉트론 (Perceptron) ◎ 활성 함수 : 퍼셉트론의 출력에 의미를 부여해 주며, 일반적으로 비선형(Non-linear) 함수이다. ※ Sigmoid는 하나의 입력을 0으로 강제한 2-Class Softmax 함수와 동일하다. ◎ 손실 함수 : 지도 학습 알고리즘에 반드시 정의되어야 한다. + 딥러닝 알고리즘 학습의 길잡이로서 손실 함수가 필요하다...