파이썬/머신러닝 (2) 썸네일형 리스트형 [머신러닝] 차원 축소 (Dimension Reduction) example : PCA, LDA, SVD, NMF 많은 피처로 구성된 다차원 데이터 세트를 축소해 새로운 차원의 데이터 세트 생성 1. 일반적으로 차원이 증가할수록 데이터 포인트 간 거리가 기하급수적으로 멀어지게 된다. 2. 수백 개 이상의 피처로 구성된 데이터 세트의 경우 상대적으로 적은 차원에서 학습된 모델보다 예측 신뢰도가 떨어진다. 3. 피처가 많을 경우 개별 피처간에 상관관계가 높을 가능성이 크다. (다중공선성) [피처 선택] * 특정 피처에 종속성이 강한 불필요한 피처는 제거한다. [피처 추출] * 기존 피처를 저차원의 중요 피처로 압축해서 추출한다. [머신러닝] 앙상블 학습 (Ensemble Methods) 앙상블(Ensemble) 앙상블은 조화 또는 통일을 의미합니다. 어떤 데이터의 값을 예측 할 때, 여러 개의 모델을 조화롭게 학습시켜 그 모델들의 예측 결과들을 이용한다면 더 정확한 예측값을 구할 수 있습니다. 앙상블 학습은 여러 개의 결정 트리(Decision Tree)를 결합하여 하나의 결정 트리보다 더 좋은 성능을 내는 머신러닝 기법입니다. 앙상블 학습의 핵심은 여러 개의 약 분류기 (Weak Classifier)를 결합하여 강 분류기(Strong Classifier)를 만드는 것입니다. 그리하여 모델의 정확성이 향상됩니다. 앙상블 학습법에는 배깅(Bagging)과 부스팅(Boosting)이 있습니다. [배깅(Bagging)] [부스팅(Boosting)] 이전 1 다음