Random Forest 와 Adaboost

정의

Random Forest : 의사결정 트리(Decision Tree)에 배깅(Bagging)의 개념을 적용시킨 앙상블 기법
Adaboost : 부스팅(Boosting) 기법에서 과소적합한 약 분류기(Weak Classifier)에 높은 가중치로 업데이트 하는 앙상블 기법

 

키워드

- DB(Decision tree, Bagging), 약강가(약 분류기, 강 분류기, 가중치)

- 앙상블, 의사결정트리+배깅, 보팅, Bootstrap, 약분류기, 강분류기, 가중치

 

메커니즘

Random Forest

의사결정 트리 (Decision Tree)
- 배깅(Bagging)에 사용된 핵심 분류/회귀 모델 부트스트래핑 (Bootstrapping)
- 전체 원본 데이터 세트에서 중복을 허용하여 복원 추출이 가능한 데이터 샘플링 방식

보팅 (Voting)
- 각 의사결정 트리 모델 예측값들에 대해 다수결(Hard-voting) 및 평균값(Soft-voting)으로 최종 결정 방법

 

Adaboost

기술요소

Random Forest

(구성요소)

의사결정 트리 (Decision Tree)
- 배깅(Bagging)에 사용된 핵심 분류/회귀 모델 부트스트래핑 (Bootstrapping)
- 전체 원본 데이터 세트에서 중복을 허용하여 복원 추출이 가능한 데이터 샘플링 방식

보팅 (Voting)
- 각 의사결정 트리 모델 예측값들에 대해 다수결(Hard-voting) 및 평균값(Soft-voting)으로 최종 결정 방법

(절차)

데이터 샘플링 - 전체 데이터 세트에서 부트스트랩(Bootstrap)으로 여러 개의 훈련 데이터 샘플링
훈련(Training) - 각 훈련 데이터에 대해 각 의사결정 트리 모델로 예측
예측값 결정 - 각 예측값에 대해 보팅(Voting)으로 최종 예측값 결정

 

Adaboost

(구성요소)

약 분류기(Weak Classifier)
- 기계학습 알고리즘이 적용된 분류 모델
강 분류기(Strong Classifier)
- 여러 개의 약 분류기를 순차적으로 연결하여 생성된 최종 분류기
가중치(Weight) 

- 훈련 데이터에 부여되는 값으로 각 분류기의 예측 결과에 따라 각 데이터에 개별 업데이트

 

(절차)

약 분류기 훈련 - 첫번째 약 분류기를 훈련 데이터 세트로 훈련시키고 예측
가중치 업데이트 - 첫번째 약 분류기에서 잘못 분류된 훈련 데이터의 가중치를 상대적으로 높게 부여
다음 약 분류기 훈련 - 두번째 약 분류기에서 가중치가 업데이트 된 훈련 데이터 세트로 훈련시키고 예측
반복 수행 및 강 분류기 - 최종 강 분류기에 도달할 때까지 동일 과정 반복 수행