• 개요

▪︎ 역전파(Back Propagtion)

• 오차를 계산하고, 이를 이용해 신경망의 가중치를 업데이트하는 알고리즘
• 출력층부터 입력층까지 거꾸로 가면서 Chain Rule에 의거해서 각 가중치에 대한 미분
• 발생한 오차에 대해서 각각 w에 대한 기여도를 계산하여 w를 업데이트

▫︎ Chain Rule

• 합성함수의 미분을 계산하는 수학적 규칙
• 역전파는 미분을 이용 → 체인룰을 활용하여 오차가 각 가중치에 미치는 영향을 계산

▪︎ 분류(Classification)

• 불연속적인 값을 출력
• 입력 데이터를 사전에 정의된 여러 클래스 중 하나로 구분하는 알고리즘
• 분류란 최적의 결정 경계선(Decision Boundary)을 찾는 것 (선형 분류)

▫︎ 클래스

• 이항 분류(Binary Classification): 두 가지 클래스만 구분
• 다항 분류(Multi-class Classification): 세 가지 이상의 클래스를 구분
• 다중 분류(Multi-label Classification): 샘플이 여러 클래스에 동시에 속할 수 있는 분류

▫︎ 분류 알고리즘 종류

• 선형 모델
  • 로지스틱 회귀(Logistic Regression): 선형 방정식을 사용해 클래스 확률을 계산
• 비선형 모델
  • 의사결정나무(Decision Tree): 데이터를 분할하여 예측
  • 랜덤 포레스트(Random Forest): 다수의 의사결정나무를 결합
  • 서포트 벡터 머신(SVM): 초평면(Hyperplane)을 사용해 클래스 간 경계를 설정