이 글에서는 AI와 머신러닝에 필요한 필수 수학을 설명해 드리겠습니다. 또한 제가 개인적으로 도움이 되었던 정확한 로드맵과 리소스도 함께 공유할게요. 바로 본론으로 들어가 보겠습니다.
1. 통계와 확률
불확실성, 데이터, 추론의 언어
AI/ML 시스템은 노이즈가 많고 불완전하며 불확실한 데이터로부터 학습합니다. 확률과 통계는 불확실성 속에서 추론하고 샘플에서 신뢰할 수 있는 패턴을 추출하는 공식적인 도구를 제공합니다.
1.1 모집단과 표본 추출
- 모집단: 가능한 모든 데이터 포인트의 전체 집합 (일반적으로 관찰 불가능).
- 표본: 모집단에서 추출된 부분 집합.
- 표본 추출 편향, 대표성, 분산을 이해하는 것은 모델 일반화에 매우 중요합니다.
1.2 기술 통계
- 평균, 중앙값, 최빈값: 중심 경향 측정치.
- 기댓값: 확률적 평균; 손실 함수와 위험 최소화의 기초.
1.3 분산과 공분산
- 분산: 데이터의 퍼짐 또는 불확실성을 측정.
- 공분산: 두 변수가 함께 변하는 정도를 측정.
- 상관관계, 다중공선성, 특성 상호작용을 이해하는 데 직접적으로 연결됩니다.
1.4 확률 변수
- 이산형 vs. 연속형 확률 변수.
- 확률 질량 함수(PMF)와 확률 밀도 함수(PDF).
1.5 일반적인 확률 분포
데이터가 생성되는 방식에 대한 가정을 정의합니다:
- 정규 분포 (가우시안): 노이즈 모델, 오차, 중심극한정리.
- 이항 분포: 이진 결과, 분류 직관.
- 균등 분포: 무정보 사전 분포 및 무작위성 기준선.
1.6 중심극한정리 (CLT)
- 가우시안 가정이 모든 곳에 나타나는 이유를 설명합니다.
- 데이터가 정규 분포를 따르지 않더라도 많은 통계 방법을 정당화합니다.
1.7 조건부 확률
- 부분 정보가 주어졌을 때의 확률.
- 추론, 예측, 인과 관계 직관에 필수적입니다.
1.8 베이즈 정리
- 증거를 바탕으로 믿음을 업데이트합니다.
- 베이지안 추론, 확률적 모델, 현대의 불확실성 인식 ML의 기초.
1.9 최대 우도 추정 (MLE)
- 모델 파라미터를 데이터에 맞추기 위한 프레임워크.
- MSE 및 교차 엔트로피와 같은 손실 함수는 MLE에서 자연스럽게 발생합니다.
1.10 선형 회귀와 로지스틱 회귀
- 선형 회귀: 가우시안 노이즈 하에서의 연속 예측.
- 로지스틱 회귀: 확률적 이진 분류.
- 둘 다 더 복잡한 모델을 이해하기 위한 관문입니다.
2. 선형 대수
데이터와 모델의 구조
머신러닝의 거의 모든 것은 행렬 연산입니다. 데이터, 파라미터, 활성화 함수, 그래디언트는 모두 벡터, 행렬 또는 텐서입니다.
2.1 스칼라, 벡터, 행렬, 텐서
- 스칼라: 단일 값.
- 벡터: 특성 표현.
- 행렬: 데이터셋, 가중치, 변환.
- 텐서: 고차원 일반화 (딥러닝).
2.2 행렬 연산
- 덧셈 & 뺄셈: 신호 결합.
- 곱셈: 선형 변환 및 신경망 레이어.
- 전치: 형태 정렬 및 대칭.
- 이러한 연산은 모델의 순전파를 정의합니다.
2.3 행렬식과 역행렬
- 행렬식: 부피 스케일링 및 특이성.
- 역행렬: 선형 시스템 풀이 (실제로 직접 계산되는 경우는 드물지만 개념적으로 중요).
2.4 행렬의 계수와 선형 독립
- 계수는 정보의 양을 결정합니다.
- 중복성, 특성 붕괴, 식별 가능성을 설명합니다.
2.5 고유값과 고유벡터
- 변환의 불변 방향을 설명합니다.
- 안정성, 수렴, 차원 축소의 핵심입니다.
2.6 행렬 분해
데이터를 단순화, 분석 및 압축하는 데 사용됩니다:
- 특이값 분해 (SVD): 수치적 안정성 및 저차원 근사를 위한 핵심 도구.
- 주성분 분석 (PCA): 차원 축소, 노이즈 필터링, 특성 추출.
3. 미적분학
최적화로서의 학습
AI 모델 훈련은 최적화 문제입니다. 미적분학은 모델이 어떻게 학습하는지, 얼마나 빨리 학습하는지, 그리고 수렴하는지 여부를 설명합니다.
3.1 도함수와 그래디언트
- 도함수: 변화율.
- 그래디언트: 고차원에서 가장 가파른 상승 방향.
- 그래디언트는 경사 하강법을 통해 학습을 주도합니다.
3.2 벡터 및 행렬 미적분학
현대 모델은 다차원적입니다:
- 야코비안: 벡터 값 함수의 1차 도함수.
- 헤시안: 2차 곡률 정보.
- 연쇄 법칙: 역전파의 중추.
3.3 최적화의 기초
손실 표면을 이해하는 것이 중요합니다:
- 지역 최적해 vs. 전역 최적해: 훈련이 "갇히는" 이유.
- 안장점: 고차원 공간에서 흔함.
- 볼록성: 최적성과 안정성을 보장 (드물지만 중요).
실제로 이 수학을 배운 방법 (리소스)
제게 효과가 있었던 로드맵은 다음과 같습니다.
1. 먼저 직관 구축하기
교과서를 보기 전에 시각적 이해에 집중했습니다.
- 3Blue1Brown 특히:
- 선형 대수의 본질*
- *미적분학의 본질
2. 체계적인 강좌
- 임페리얼 칼리지 런던 – 머신러닝을 위한 수학 on Coursera 선형 대수와 다변수 미적분학에 매우 좋으며, 매우 실용적인 방식으로 가르칩니다.
3. 통계 및 확률
- Khan Academy 명확한 설명과 충분한 연습 문제.
4. 수학을 ML에 연결하기
- 이론이 실제 ML 모델로 어떻게 전환되는지 이해하는 데 탁월합니다. 도서: 통계적 학습 입문
5. 모든 것을 하나로 묶기
- 모든 개념이 실제 알고리즘에서 어떻게 함께 맞물리는지 보여줍니다. 도서: 머신러닝을 위한 수학
