4장. 딥러닝 기초

딥러닝의 등장과 발전

1980년대, 딥러닝의 씨앗이 뿌려지다

딥러닝의 근간인 깊은 신경망(Deep Neural Network) 아이디어는 이미 1980년대에 등장했습니다. 그러나 당시는 이를 실현하기엔 여러 기술적 한계가 있었습니다.

주요 한계점

• 그레이디언트 소멸 문제: 역전파 과정에서 기울기가 소멸해 학습이 잘 되지 않음
• 과잉적합(Overfitting): 모델 복잡도에 비해 학습 데이터가 부족해 일반화 성능이 떨어짐
• 과도한 계산 시간: 연산 자원이 부족해 깊은 신경망 학습이 매우 느림

그럼에도 불구하고 연구는 지속되었고, 다양한 요소들이 딥러닝의 가능성을 넓혀갔습니다.

지속된 연구 주제

• 학습률 변화에 따른 성능 변화
• 은닉층/은닉 노드 수에 따른 영향
• 데이터 전처리의 중요성
• 활성 함수 선택의 차이
• 다양한 규제 기법(Regularization)의 효과

딥러닝 기술의 혁신적 진보

딥러닝이 현실적으로 활용되기 시작한 건 2010년대 이후부터입니다. 여러 기술과 환경의 변화가 이를 가능케 했습니다.

딥러닝 부흥의 주요 요인

1. 컨볼루션 신경망(CNN)의 발전: 이미지 인식 분야에서 딥러닝의 가능성을 입증
2. 저렴한 GPU의 등장: 대규모 병렬 연산이 가능해짐
3. 빅데이터의 축적: 웹과 센서를 통한 방대한 학습 데이터 확보
4. ReLU 활성함수 도입: 기울기 소실 문제를 완화
5. 효과적인 정규화 기법: 드롭아웃(Dropout), 가중치 감소, 조기 종료(Early stopping), 앙상블 등
6. 기계 학습 패러다임의 전환
   • 기존 방식: 사람이 특징 추출 알고리즘을 수작업으로 설계 후, 신경망에 입력
   • 딥러닝 방식: 특징 추출까지 신경망이 직접 학습 (특징 학습, representation learning)
7. 계층적 특징 학습의 가능성
   • 여러 은닉층이 자동으로 저수준 → 고수준 특징을 추출
   • 이를 통해 영상 생성, 이미지 분할 등 새로운 응용 분야로 확장

---

컨볼루션 신경망(CNN)의 핵심 개념

CNN은 공간적 구조를 갖는 데이터(예: 이미지, 음성)를 처리하는 데 최적화된 구조입니다.

일반 인공신경망(ANN) vs. CNN vs. DMLP

• ANN (인공신경망): 입력의 공간 구조를 고려하지 않아 이미지 처리에는 부적합
• DMLP (Deep Multi-Layer Perceptron): 완전연결 구조로 가중치 수가 많아 학습 속도가 느리고 과적합 우려
• CNN: 부분 연결(희소 연결) 구조로 계산량과 과적합을 크게 줄임

---

CNN의 주요 구성 요소

1. 합성곱 연산(Convolution)

• 입력 이미지에 **필터(커널)**를 적용해 특징 맵(Feature Map) 생성
• 이미지가 필터의 특성을 갖고 있으면 결과값이 크고, 아니면 0에 가까움
• 커널은 학습을 통해 자동으로 최적화됨 → 이것이 특징 학습(Representation Learning)

2. 패딩(Padding)

• 필터를 적용할 때 이미지 가장자리가 줄어드는 것을 방지하기 위해 주변에 0을 추가
• 출력 크기를 조절하고, 경계 정보를 보존하는 데 유용

3. 스트라이드(Stride)

• 필터를 이미지에 적용하면서 이동하는 간격
• 스트라이드를 늘리면 출력 크기는 작아지고, 특징을 더 넓은 범위로 추출

4. 풀링(Pooling)

• 특징 맵의 크기를 줄이기 위한 다운샘플링
• 대표적으로 **최대 풀링(Max Pooling)**이 사용됨 → 가장 강한 특징만 유지

5. 활성화 함수(Activation Function)

• ReLU(Rectified Linear Unit): 딥러닝을 실용적으로 만든 핵심 요소
• 비선형성을 부여해 모델의 표현력을 향상시킴

6. 가중치 공유(Weight Sharing)

• 하나의 필터를 여러 위치에 동일하게 적용
• 파라미터 수를 획기적으로 줄여 모델의 효율성 및 일반화 능력 향상

7. 다중 커널, 다중 특징 맵

• 하나의 입력에 여러 필터를 적용해 다양한 특징 맵 추출
• 이는 신경망이 더욱 풍부한 시각적 표현을 학습할 수 있게 함

---

결론: CNN과 딥러닝의 진화

CNN은 이미지 처리뿐만 아니라 음성 인식, 자연어 처리 등 다양한 격자 구조의 데이터에도 매우 강력한 모델입니다.

특히, 사람이 특징을 설계하지 않아도 신경망이 스스로 의미 있는 표현을 학습한다는 점에서, 딥러닝은 단순한 분류 도구를 넘어 지능적인 정보 추출 시스템으로 진화하고 있습니다.