딥러닝 및 심화 내용 면접 질문&답변

○ 딥러닝 및 심화 내용

 

■ 딥러닝은 무엇인가요? 딥러닝과 머신러닝의 차이는?

머신러닝은 주어진 데이터를 인간이 먼저 처리합니다. 사람이 먼저 컴퓨터에 특정 패턴을 추출하는 방법을 지시하고, 그 이후 컴퓨터가 스스로 데이터의 특징을 분석하고 축적합니다. 반면에 딥러닝은 머신러닝에서 사람이 하던 패턴 추출 작업이 생략됩니다. 컴퓨터가 스스로 데이터를 기반으로 학습할 수 있도록 정해진 신경망을 컴퓨터에 주고, 어린아이가 학습하는 것처럼 경험 중심으로 학습을 수행합니다.

 

■ Cost Function과 Activation Function은 무엇인가요?

모델은 데이터에 대한 예측을 얼마나 어떻게 잘하고 있는지 알아야 학습방향을 수정할 수 있는데 이때 모델의 예측값과 데이터값의 차이에 대한 함수를 cost function(비용 함수)이라 한다. cost function을 최소화함으로써 모델을 잘 학습시키는 방향으로 갈 수 있다

선형 모델만을 사용하면 복잡한 데이터에 대해서 예측을 할 수 없다. 이를 위해 비선형 모델이 필요한데 선형 모델을 비선형 모델로 만들어주는 역할을 하는 함수가 activation function(활성화 함수)이다.

 

■ Tensorflow, Keras, PyTorch 중 선호하는 프레임워크와 그 이유는 무엇인가요?

	장점	단점
텐서플로(TensorFlow)	텐서보드(TensorBoard)를 통해서 파라미터 변화 양상이나 DNN의 구조를 알 수 있음	메모리를 효율적으로 사용하지 못함
케라스(Keras)	배우기 쉽고 모델을 구축하기 쉬움	오류가 발생할 경우 케라스 자체의 문제인지  backend의 문제인지 알 수 없음
파이토치(Pytorch)	간단하고 직관적으로 학습 가능 속도 대비 빠른 최적화가 가능	텐서플로우에 비해 사용자층이 얕음 예제 및 자료를 구하기 힘듦

 

■ 알고있는 Activation Function에 대해 알려주세요. (Sigmoid, ReLU, LeakyReLU, Tanh 등)

- Sigmoid 함수 :  logistic 함수라고 불리기도 하며, x의 값에 따라 0~1의 값을 출력하는 S자형 함수이다. Sigmoid 함수는 음수 값을 0에 가깝게 표현하기 때문에 입력 값이 최종 레이어에서 미치는 영향이 적어지는 Vanishing Gradient Problem이 발생한다.

- Tanh 함수 : Hyperbolic Tangent Function은 쌍곡선 함수 중 하나로, Sigmoid 함수를 변형해서 얻을 수 있다. Tanh 함수는 함수의 중심점을 0으로 옮겨 Sigmoid가 갖고 있던 최적화 과정에서 느려지는 문제를 해결했다. 하지만 미분함수에 대해 일정 값 이상에서 미분 값이 소실되는 Vanishing Gradient Problem은 여전히 남아있다.

- ReLU : 가장 많이 사용되는 활성화 함수 중 하나이며 Sigmoid와 Tanh 가 갖는 Gradient Vanishing 문제를 해결하기 위한 함수이다. x가 0보다 크면 기울기가 1인 직선, 0보다 작으면 함수 값이 0이 된다. 이는 0보다 작은 값들에서 뉴런이 죽을 수 있는 단점을 야기한다.

- Leaky ReLU : ReLU가 갖는 Dying ReLU(뉴런이 죽는 현상) 을 해결하기 위해 나온 함수이다.

- PReLU : Leaky ReLU와 거의 유사하지만 새로운 파라미터 α 를 추가해 x가 음수인 영역에서도 기울기를 학습한다.

 

■ 오버피팅일 경우 어떻게 대처해야 할까요?

- Training Data를 더 마련한다.

- k-fold cross validation을 사용한다.

- Regularization을 사용한다.

- Dropout 을 사용한다.

- Parameter 수를 줄인다.

 

■