[머신러닝] 차원 축소 (Dimension Reduction)

example : PCA, LDA, SVD, NMF 

 

많은 피처로 구성된 다차원 데이터 세트를 축소해 새로운 차원의 데이터 세트 생성 

 

1. 일반적으로 차원이 증가할수록 데이터 포인트 간 거리가 기하급수적으로 멀어지게 된다.

2. 수백 개 이상의 피처로 구성된 데이터 세트의 경우 상대적으로 적은 차원에서 학습된 모델보다 예측 신뢰도가 떨어진다.

3. 피처가 많을 경우 개별 피처간에 상관관계가 높을 가능성이 크다. (다중공선성)

 

[피처 선택]

* 특정 피처에 종속성이 강한 불필요한 피처는 제거한다. 

[피처 추출] 

* 기존 피처를 저차원의 중요 피처로 압축해서 추출한다.