Ⅰ. 백터
> Scalar(스칼라) : 숫자 하나
> Vector(벡터) : 숫자들의 모임
> Matrix(행렬) : 벡터들의 모임
> Tensor(텐서) : 행렬들의 모임, Array(배열)
(1) Vector(벡터)
> 벡터는 크기와 방향을 가진다.
> 서로 같은 벡터라 함은 '크기'와 '방향' 둘다 같은 벡터임을 의미
> 샘플을 특징 벡터로(feature vector) 표현
(2) Matrix(행렬)
> 여러 개의 벡터를 담음
> 훈련집합을 담은 행렬을 설계행렬(design matirx)이라 부름
(3) Tensor(텐서)
> 3차원 이상의 구조를 가진 숫자 배열
> 모든 차원을 포괄하는 표현
> 스칼라는 0차원 텐서, 벡터는 1차원 텐서, 행렬은 2차원 텐서
(4) 벡터의 곱
> a와 b의 곱 : a'b = b'a(=a．b), 내적(inner product or dot product)이라 부르기도 한다.
> a'a = ||a||2 ≥ 0(등호가 성립하는 경우는 a = 0인 경우뿐이다.)
> u : n×1 열벡터일 경우, uu' : n×n 행렬 / u'u : 1×1 스칼라
> ||a||는 벡터의 크기를 나타낸다(norm)
(5) 벡터의 크기
> 벡터의 크기는 놈(norm)으로 측정
> 2차놈 : 유클리디언 놈(Euclidean norm)
> 단위벡터(unit vector) : 길이가 1인 벡터 : x/||x||
- 도수와 상대도수의 의미와 비슷
(6) 행렬의 크기
> 행렬의 놈 : 프로베니우스 놈 : 요소들의 제곱합의 제곱근
(7) 벡터의 선형독립
> 벡터공간 X에 속한 원소의 선형결합(linear combination)은 영벡터가 아닌 c에 대해 선형결합이 0이 될 때, 이를 선형종속이라고 하며, 오직 c=0 일 때만 선형결합이 0이 된다면, 이를 선형독립이라고 한다.
> 선형독립인 벡터의 수가 rank임
> 선형독립인 벡터들의 기저(basis)를 이루지만 반드시 직교하는 것은 아님
(8) 벡터의 선형종속
> c 중 적어도 한 개가 0이 아니라고 가정하면, x가 나머지 원소들의 선형결합으로 표현되는 '종속관계'를 의미
(9) 선형결합과 벡터공간
> 기저벡터(basis vector) a와 b의 선형결합
> 두 벡터 a와 b의 선형결합으로 만들어지는 공간을 벡터공간이라고 부름
- 정규직교 기저벡터 : 길이가 1이고, 서로 수집인 기저벡터
(10) 행렬의 계수(rank)
> 행렬의 개수(rank) : 선형독립인 열(행)벡터의 개수
(11) 벡터의 유사도
> 두 벡터의 유사도 측정을 위해서 두 벡터의 내적을 사용하면 된다. 하지만 벡터가 길기만하면 유사도가 커지는 문제가 있다. 따라서, 단위벡터 내적 사용
> 코사인 유사도(cosine similarity) : 단위벡터의 내적, 두 문서의 유사도 계산에 주로 사용
Ⅱ. 백터
> 행렬은 여러 개의 원소들을 사각형 안에 배치시켜 놓은 것. 사각형이 행(row)을 m개, 열(column)을 n개 가질 때 원소의 총 개수는 mn개가 된다.
(1) 행렬을 이루는 벡터
> 영벡터 : 모든 원소가 0인 벡터
> 일벡터 : 모든 원소가 1인 벡터
> 항등행렬의 i번째 열벡터 : i번째 원소만 1이고 나머지 원소는 모두 0인 벡터
(2) 전치행렬(transpose matrix)
> 모든 (i,j) 쌍에 대해 aij 원소를 aji 로 전치하여 놓은 행렬 A 의 전치행렬(transpose matrix, AT 또는 A')이라 한다.
(3) 대칭행렬(symmetric matrix)
> 행렬에서 행과 열의 차원이 같을 때(m=n) 정방행렬(정사각행렬, square matrix)이라 한다. 행렬 A 가 정방행렬이면서 대칭하는 값들이 동일한 행렬을 대칭행렬(symmetric matrix)이라 한다.
(4) 대각행렬(diagonal matrix)
> 행렬이 대각요소만으로 이루어진 행렬을 대각행렬이라고 한다.
> 대각행렬에서 모든 대각요소가 1인 행렬을 단위행렬(unit matrix 또는 identity matrix)이라 한다.
(5) 다항식의 행렬 표현
> 행렬을 이용하면 수학을 간결하게 표현할 수 있다.
※ 특수한 행렬들 : 정사각행렬, 대각행렬, 단위행렬, 대칭행렬
(6) 행렬의 덧셈
> 두 행렬의 합 : 두 행렬의 차수가 같아야 한다.
> 행렬과 스칼라의 곱 : 모든 원소에 스칼라를 곱한다.
(7) 행렬의 곱셉
> 행렬의 곱셉에서는 피승수 행렬의 차원이 m×p이면 승수 행렬의 행의 차수는 p 가 되어야 한다.
> 2×3 행렬 A와 3×2 행렬 B 를 곱한 결과 얻어진 행렬 C 의 차원은 2×2 가 된다.
> A × B ≠ B × A
> (A × B)T = BT × AT
> (A × B) × C = A × (B × C)
(8) 행렬식(determinant)
> n × n 정방행렬 A 의 행렬식(determinant)은 |A| (또는 det(A))로 표시하며, 하나의 실수 값으로 표현된다.
> 행렬식은 역행렬이 존재하는지를 판단하는 근거가 되며, 문자의 수와 식의 수가 같은 연립일차방정식의 근이 유일하게 존재하는지를 결정하는 데 중요한 역할을 한다.
> |AB| = |BA| = |A||B|
> |A| = |AT|
(9) 역행렬(inverse matrix)
> A의 행렬식이 0 이 아닌 때, 만약 AB = BA = I 을 만족시키는 행렬 B 가 존재한다면, 행렬 B를 행렬 A의 역행렬(inverse matrix)이라 하고 A-1로 표현한다.
(10) 정칙행렬(nonsingular matrix)
> n × n 정방행렬 A 에 대해 AB=I 를 만족시키는 행렬 B가 유일하게 존재하면 행렬 B는 A-1이 되고, 이 때 행렬 A를 정칙행렬(nonsingular matrix) 이라 한다. 그렇지 않으면 행렬 A를 비정칙행렬(특이행렬, singular matrix)이라 한다.
> A 가 정칙행렬이 되기 위한 필요 충분 조건은 |A|≠0이다.
> A 가 정칙행렬이면, |A-1| = |A|-1 이다.
> 요약하면, 정칙 행렬 : 행렬식이 0이 아닌 정사각행렬 / 특이행렬 : 행렬식이 0인 정사각행렬
(11) 직교행렬(orthogonal matrix)
> n × n 정방행렬 A 의 역행렬 A-1이 전치행렬 AT 와 같으면, 행렬 A를 직교행렬(orthogonal matrix)이라 한다.
> AAT = ATA = I
> 각 열벡터는 길이가 1이고 다른 열벡터와 직교한다. 이러한 벡터를 정규직교(orthonormal) 벡터라고 한다.
Ⅲ. 고유값과 고유벡터
(1) 행렬 변환(벡터의 선형변환)
> 종류 : 비례변환, 행렬곱셉의 변환, 반사변환, 선형변환
(2) 고유값과 고유벡터 구하는 방법
> (A-람다I)x = 0