[혼자 공부하는 머신러닝 + 딥러닝] Chapter 2 데이터 다루기

 

 

 

01-3 마켓과 머신러닝¶

 

k-최근접 이웃 (k-Nearest Neighbors)¶

 

머신러닝 : 데이터에서 규칙을 학습하는 알고리즘을 연구하는 분야(사이킷런)

딥러닝 : 인공신경망을 기반으로 한 머신러닝 분야를 일컬음(텐서플로)

k-Nearest Neighbors Algorithm, KNN : 가장 간단한 머신러닝 알고리즘 중 하나로 어떤 규칙을 찾기보다는 인접한 샘플을 기반으로 예측을 수행함

In [1]:

import numpy as np
# 도미 데이터
bream_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0, 
                31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0, 
                35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0]
bream_weight = [242.0, 290.0, 340.0, 363.0, 430.0, 450.0, 500.0, 390.0, 450.0, 500.0, 475.0, 500.0, 
                500.0, 340.0, 600.0, 600.0, 700.0, 700.0, 610.0, 650.0, 575.0, 685.0, 620.0, 680.0, 
                700.0, 725.0, 720.0, 714.0, 850.0, 1000.0, 920.0, 955.0, 925.0, 975.0, 950.0]

In [2]:

# 빙어 데이터
smelt_length = [9.8, 10.5, 10.6, 11.0, 11.2, 11.3, 11.8, 11.8, 12.0, 12.2, 12.4, 13.0, 14.3, 15.0]
smelt_weight = [6.7, 7.5, 7.0, 9.7, 9.8, 8.7, 10.0, 9.9, 9.8, 12.2, 13.4, 12.2, 19.7, 19.9]

In [3]:

import matplotlib.pyplot as plt

In [4]:

plt.scatter(bream_length, bream_weight, label = "bream")
plt.scatter(smelt_length, smelt_weight, label = "smelt")
plt.xlabel('length')
plt.ylabel('weight')
plt.legend()
plt.show()

 

In [5]:

# 두 데이터 합치기
length = bream_length+smelt_length
weight = bream_weight+smelt_weight
fish_data = [[l, w] for l, w in zip(length, weight)]
print(fish_data)

 

[[25.4, 242.0], [26.3, 290.0], [26.5, 340.0], [29.0, 363.0], [29.0, 430.0], [29.7, 450.0], [29.7, 500.0], [30.0, 390.0], [30.0, 450.0], [30.7, 500.0], [31.0, 475.0], [31.0, 500.0], [31.5, 500.0], [32.0, 340.0], [32.0, 600.0], [32.0, 600.0], [33.0, 700.0], [33.0, 700.0], [33.5, 610.0], [33.5, 650.0], [34.0, 575.0], [34.0, 685.0], [34.5, 620.0], [35.0, 680.0], [35.0, 700.0], [35.0, 725.0], [35.0, 720.0], [36.0, 714.0], [36.0, 850.0], [37.0, 1000.0], [38.5, 920.0], [38.5, 955.0], [39.5, 925.0], [41.0, 975.0], [41.0, 950.0], [9.8, 6.7], [10.5, 7.5], [10.6, 7.0], [11.0, 9.7], [11.2, 9.8], [11.3, 8.7], [11.8, 10.0], [11.8, 9.9], [12.0, 9.8], [12.2, 12.2], [12.4, 13.4], [13.0, 12.2], [14.3, 19.7], [15.0, 19.9]]

In [6]:

fish_target = [1]*35 + [0]*14 # 1은 bream 0은 smelt
print(fish_target)

 

[1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]

In [7]:

from sklearn.neighbors import KNeighborsClassifier
kn = KNeighborsClassifier()
kn.fit(fish_data, fish_target)
kn.score(fish_data, fish_target) # 정확도 100%라는 의미를 가진다.

Out[7]:

1.0

In [8]:

# [30,600]은 어디에 분류될까?
plt.scatter(bream_length, bream_weight,label = "bream")
plt.scatter(smelt_length, smelt_weight,label = "smelt")
plt.scatter(30, 600, marker='^')
plt.legend()
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

 

In [9]:

kn.predict([[30,600]]) # predict 함수로 예측 -> 1 == bream으로 예측

Out[9]:

array([1])

In [10]:

kn49 = KNeighborsClassifier(n_neighbors=49) # 기본값 5를 49로 변경

In [11]:

kn49.fit(fish_data,fish_target)
kn49.score(fish_data,fish_target)

Out[11]:

0.7142857142857143

In [12]:

print(35/49) # 49개 중에서 35개의 bream을 맞추었기에 0.7142857142857143값이 나온것이다.

 

0.7142857142857143

In [13]:

# 1이하의 n값 찾는 함수
kn = KNeighborsClassifier()
kn.fit(fish_data, fish_target)

for n in range(5, 50):
    # 최근접 이웃 개수 설정
    kn.n_neighbors = n
    # 점수 계산
    score = kn.score(fish_data, fish_target)
    # 100% 정확도에 미치지 못하는 이웃 개수 출력
    if score < 1:
        print(n, score)
        break
# 18개 부터 정확도 1이 깨는것 n값이 커질 수록 정확도는 떨어지기 때문

 

18 0.9795918367346939

 

02-1 훈련 세트와 테스트 세트¶

 

지도 학습은 입력(데이터)과 타깃(정답)으로 이뤄진 훈련 데이터가 필요하며 새로운 데이터를 예측하는 데 활용함

비지도 학습은 타깃 데이터 없이 입력 데이터만 있을 때 사용

훈련 세트와 테스트 세트의 샘플이 고르게 섞여 있지 않으면 샘플링 편향이 나타단다.

In [14]:

import numpy as np
input_arr = np.array(fish_data)
target_arr = np.array(fish_target)

In [15]:

# 무작위로 섞기
np.random.seed(42)
index=np.arange(49) # 0~49 index 생성
np.random.shuffle(index)

In [16]:

print(index)

 

[13 45 47 44 17 27 26 25 31 19 12  4 34  8  3  6 40 41 46 15  9 16 24 33
 30  0 43 32  5 29 11 36  1 21  2 37 35 23 39 10 22 18 48 20  7 42 14 28
 38]

In [17]:

# 훈련 세트 생성
train_input = input_arr[index[:35]]
train_target = target_arr[index[:35]]

In [18]:

# 테스트 세트 생성
test_input = input_arr[index[35:]]
test_target = target_arr[index[35:]]

In [19]:

# 데이터가 잘 나뉜것을 확인할 수 있다.
import matplotlib.pyplot as plt

plt.scatter(train_input[:, 0], train_input[:, 1], label="train")
plt.scatter(test_input[:, 0], test_input[:, 1], label="test")
plt.xlabel('length')
plt.ylabel('weight')
plt.legend()
plt.show()

 

In [20]:

# 잘 나뉜 데이터의 정확도도 1이다.
from sklearn.neighbors import KNeighborsClassifier

kn = KNeighborsClassifier()
kn = kn.fit(train_input, train_target)
kn.score(test_input, test_target)

Out[20]:

1.0

 

02-2 데이터 전처리¶

In [21]:

fish_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0, 
                31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0, 
                35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0, 9.8, 
                10.5, 10.6, 11.0, 11.2, 11.3, 11.8, 11.8, 12.0, 12.2, 12.4, 13.0, 14.3, 15.0]
fish_weight = [242.0, 290.0, 340.0, 363.0, 430.0, 450.0, 500.0, 390.0, 450.0, 500.0, 475.0, 500.0, 
                500.0, 340.0, 600.0, 600.0, 700.0, 700.0, 610.0, 650.0, 575.0, 685.0, 620.0, 680.0, 
                700.0, 725.0, 720.0, 714.0, 850.0, 1000.0, 920.0, 955.0, 925.0, 975.0, 950.0, 6.7, 
                7.5, 7.0, 9.7, 9.8, 8.7, 10.0, 9.9, 9.8, 12.2, 13.4, 12.2, 19.7, 19.9]

In [22]:

import numpy as np

In [23]:

# 데이터를 합치는 다른 방법 : np.column_stack 사용하기
fish_data = np.column_stack((fish_length, fish_weight))

In [24]:

fish_target = np.concatenate((np.ones(35), np.zeros(14)))

In [25]:

# 사이킷런으로 훈련 세트와 테스트 세트 나누기
from sklearn.model_selection import train_test_split
train_input, test_input, train_target, test_target = train_test_split(
    fish_data, fish_target,stratify=fish_target, random_state=42) 
# stratify=fish_target을 사용하여 비율에 맞게 데이터 나누는 것이 가능

In [26]:

from sklearn.neighbors import KNeighborsClassifier

kn = KNeighborsClassifier()
kn.fit(train_input, train_target)
kn.score(test_input, test_target)

Out[26]:

1.0

In [27]:

print(kn.predict([[25, 150]]))

 

[0.]

In [28]:

import matplotlib.pyplot as plt

In [29]:

plt.scatter(train_input[:,0], train_input[:,1])
plt.scatter(25, 150, marker='^')
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

 

In [30]:

# [25,150]에 가까운 5개 추출
distances, indexes = kn.kneighbors([[25, 150]])

In [31]:

# 밑에 4개와 가깝다고 나타난다.
plt.scatter(train_input[:,0], train_input[:,1])
plt.scatter(25, 150, marker='^')
plt.scatter(train_input[indexes,0], train_input[indexes,1], marker='D')
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

 

In [32]:

print(train_input[indexes]) # index에 해당하는 값 출력

 

[[[ 25.4 242. ]
  [ 15.   19.9]
  [ 14.3  19.7]
  [ 13.   12.2]
  [ 12.2  12.2]]]

In [33]:

print(train_target[indexes]) # index에 해당하는 target 값 출력

 

[[1. 0. 0. 0. 0.]]

In [34]:

print(distances)

 

[[ 92.00086956 130.48375378 130.73859415 138.32150953 138.39320793]]

In [35]:

# X축, Y축 길이을 동일하게 하여 나타내면
plt.scatter(train_input[:,0], train_input[:,1])
plt.scatter(25, 150, marker='^')
plt.scatter(train_input[indexes,0], train_input[indexes,1], marker='D')
plt.xlim((0, 1000))
plt.xlabel('length')
plt.ylabel('weight')
plt.show()
# 두 변수의 scale(스케일)이 달라 나타난 현상

 

In [36]:

# 데이터 전처리 하기
mean = np.mean(train_input, axis=0)
std = np.std(train_input, axis=0)
train_scaled = (train_input - mean) / std

In [37]:

# 표준화된 자료를 다시 시각화 하기
new = ([25, 150] - mean) / std # 변수도 표준화 실행
plt.scatter(train_scaled[:,0], train_scaled[:,1])
plt.scatter(new[0], new[1], marker='^')
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

 

In [38]:

kn.fit(train_scaled, train_target)
test_scaled = (test_input - mean) / std
kn.score(test_scaled, test_target)

Out[38]:

1.0

In [39]:

print(kn.predict([new])) # 인제는 1의 값을 반환하는 것을 확인할 수 있다.

 

[1.]

In [40]:

# 근처 5개의 값 또한 변경되었다.
distances, indexes = kn.kneighbors([new])
plt.scatter(train_scaled[:,0], train_scaled[:,1])
plt.scatter(new[0], new[1], marker='^')
plt.scatter(train_scaled[indexes,0], train_scaled[indexes,1], marker='D')
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

 

In [41]:

from IPython.core.display import display, HTML
display(HTML("<style>.container {width:80% !important;}</style>"))