회귀분석(4)_로지스틱 회귀분석

◎ 로지스틱 회귀분석

• 로지스틱 회귀는 출력 변수를 직접 예측하는 것이 아니라, 두 개의 카테고리를 가지는 binary 형태의 출력 변수를 예측할 때 사용하는 회귀분석 방법

 

로지스틱 회귀의 기본 구조

로지스틱 함수 도출 과정

단순선형회귀와 로지스틱회귀의 차이

 

 

 

 

◎ 로지스틱 회귀계수 추정

• 단순 선형회귀의 최소제곱법을 사용하는 것이 아닌 최대우도법을 사용

Maximize를 최대화 추정을 통해 변수 추정

여러가지 변수 해석 방법

 

 

 

 

◎ 회귀계수 축소법

※ 분석용 데이터의 이상적 조건

1. 독립변수 X 사이에 상관성이 작아야 이상적이다.
2. 독립변수 X와 종속변수 Y의 상관성은 커야한다.
3. 많은 양질의 데이터(결측치와 노이즈가 없는 깨끅한 데이터) 필요하다.

※ 회귀계수를 축소하는 이유

• 영향력이 없는 입력 변수의 계수를 0에 가깝게 가져간다면, 모형에 포함되는 입력 변수의 수를 줄일 수 있다.

○ 입력 변수의 수를 줄이면 세 가지 장점이 존재

1. 잡은(noise)을 제거해 모형의 정확도를 개선
2. 모형의 연산 속도가 빨라짐
3. 다중공선성의 문제를 완화시켜 모형의 해석 능력을 향상

 

※ 계수축소법에는 3 가지의 방법 : Ridge 회귀, Lasso 회귀, Elastic-Net 회귀

 

f(B)항이 추가 되어있다.

 

 

 

◎ Ridge 회귀

 

ridge 회귀 기본식

베타 유도식

기존의 식에서 람다를 추가하여 역행렬을 구할수 있게한 것

 

 

 

◎ Lasso 회귀

 

※ 람다(lambda) 값의 설정 : 값을 변화시켜가며 MSE가 최소일 때의 람다를 탐색

 

 

 

◎ Elastic-Net 회귀