[LG Aimers] [지도학습-4] Classification

분류와 회귀의 차이

• 분류(Classification)
• 출력이 이산적(유한한 값)

• 회귀(Regression)
• 출력이 연속적(실수 값)

이진 분류

• 목표: 데이터를 두 그룹으로 분류

• 모델 설정:
• 데이터셋
• 함수 를 설정하고 손실 함수 최소화

• 0-1 손실 함수
• 문제점: 미분 불가능 → 다른 손실 함수 대안 필요

Perceptron 알고리즘

• 개념: 선형 분류기

• 장점:
• 단순하며 선형적으로 구분 가능한 경우 수렴

• 단점:
• 선형 분리가 불가능한 경우 무한 루프에 빠질 수 있음

서포트 벡터 머신(SVM)

• 핵심 아이디어:
• 마진(margin): 결정 경계와 가장 가까운 데이터 포인트 사이의 거리
• 최대 마진을 찾는 최적화 문제
• 으로부터 포인트 까지의 거리

• 최적화 문제:

• 소프트 마진 SVW:
• 오류 허용(): 슬랙 변수 추가

Hinge Loss

• 공식:

• 그러므로, 목적 함수는 다음과 같이 됨

• C 값을 어떻게 설정하느냐에 따라서 결정 경계가 아래와 같이 달라지게 됨

커널 기법

• 목표: 비선형 문제 해결

• 방법: 데이터의 특징 공간(feature space)을 확장

• 예) 다항 커널: