#wannabeeeeeee the best DataScientist

08-1 합성곱 신경망의 구성 요소¶ ☆ 합성곱 : 밀집층과 비슷하게 입력과 가중치를 곱하고 절편을 더하는 선형 계산이지만 밀집층과 달리 합성곱은 입력 데이터 전체에 가중치를 적용하는 것이 아니라 일부에 가중치를 곱한다. ☆ 합성곱 층의 뉴런에 있는 가중치 개수는 하이퍼파라미터이다. ☆ 합성곱 신경망(CNN)에서는 뉴런을 필터(filter) 또는 커널(kernel)이라고 부른다. ☆ 합성곱 계산을 통해 얻은 출력을 특성 맵(feature map)이라고 부른다. In [1]: # 케라스 합성곱 층 from tensorflow import keras keras.layers.Conv2D(10,kernel_size=(3,3),activation='relu') # keras.layers.Conv2D(필터 개수, ..

◎ Long Short-Term Memory (LSTM) Vanilla RNN을 개선한 LSTM 구조 기억할 것은 오래 기억하고, 잊을 것은 빨리 잊어버리는 능력이 있다. 단점 : 학습 매개변수가 많고 학습 노하우가 중요 ※ Cell State - 기억을 오랫동안 유지할 수 있는 구조, 새로운 특징을 덧셈으로 받는 구조(Residual Network) + RNN과 달리 Cell State가 있어서 '기억'에 관한 부분을 전담한다. ※ Hidden State - 계층의 출력/다음 타임 스텝으로 넘기는 정보 ※ Forget Gate - Sigmoid 활성 함수로, 0~1의 출력 값을 가짐, Cell state에 이를 곱해 주어서 '얼만큼 잊은지'를 결정 ※ Input Gate - Sigmoid 활성 함수로,..

◎ 역전파 알고리즘 ※ 심층 신경망의 각 Layer를 하나의 함수로 본다면, 신경망을 합성 함수로 표현할 수 있다. ※ 미분의 연쇄 법칙과 각 함수의 수식적 미분을 이용하면, 단 한 번의 손실 함수 평가로 미분을 구할 수 있다. ※ 역전파 알고리즘의 문제점 : 1. 기울기 소실 문제 : 역전파 계층이 많아질 수록 학습이 잘 되지 않는다. ◎ 뉴럴 네트워크의 학습 ● Vanilla Gradient Descent : Gradient를 한번 업데이트 하기 위해 모든 학습 데이터를 사용한다. ● Stochastic GD (SGD) : Gradient를 한번 업데이트 하기 위해 일부의 데이터만 사용한다. ● Mini-Batch 학습법 : 학습 데이터 전체를 한번 학습하는 것을 Epoch, 한 번 Gradient를..

◎ 인공 지능 : 기계가 사람의 행동을 모방하게 하는 기술 ◎ 기계 학습 : 데이터로부터 학습하여 실행할 수 있도록 하는 알고리즘을 개발하는 연구 분야 ◎ 딥러닝 : 기계 학습의 한 분야인 인공 신경망에 기반하여, 많은 양의 데이터를 학습해 뛰어난 성능을 이끌어내는 연구 분야 ◎ 퍼셉트론 : 신경 세포를 이진 출력의 단순 논리 게이트로 해석하여 고안한 퍼셉트론 (Perceptron) ◎ 활성 함수 : 퍼셉트론의 출력에 의미를 부여해 주며, 일반적으로 비선형(Non-linear) 함수이다. ※ Sigmoid는 하나의 입력을 0으로 강제한 2-Class Softmax 함수와 동일하다. ◎ 손실 함수 : 지도 학습 알고리즘에 반드시 정의되어야 한다. + 딥러닝 알고리즘 학습의 길잡이로서 손실 함수가 필요하다...

# import basic library import numpy as np import pandas as pd import sklearn from sklearn.experimental import enable_iterative_imputer from sklearn.linear_model import LinearRegression from sklearn.model_selection import StratifiedKFold from sklearn.model_selection import train_test_split from sklearn.metrics import roc_auc_score from xgboost import XGBRegressor from xgboost import XGBClassifier..

https://www.kaggle.com/c/tabular-playground-series-sep-2021/overview/description Tabular Playground Series - Sep 2021 | Kaggle www.kaggle.com ◎ Setting¶ 1. Calling Basic Libraries¶ In [2]: pip install catboost Requirement already satisfied: catboost in c:\work\envs\datascience\lib\site-packages (0.26.1) Requirement already satisfied: six in c:\work\envs\datascience\lib\site-packages (from catboo..

# 데이터 축소 def reduce_usage(df, verbose=True): numerics = ['int16', 'int32', 'int64', 'float16', 'float32', 'float64'] start_mem = df.memory_usage().sum() / 1024**2 for col in df.columns: col_type = df[col].dtypes if col_type in numerics: c_min = df[col].min() c_max = df[col].max() if str(col_type)[:3] == 'int': if c_min > np.iinfo(np.int8).min and c_max < np.iinfo(np.int8).max: df[col] = df[col]...