if(life){code();}

XGBoost (eXtreme Gradient Boosting) 그래디언트 부스팅(Gradient Boosting) 알고리즘을 기반으로 한 고성능 앙상블 학습 기법 빠른 학습 속도, 높은 예측 성능, 과적합 방지 기능 등을 제공병렬 처리, 조기 종료(Early Stopping), L1 & L2 정규화 등의 기능을 지원효율성, 유연성, 이식성을 목표로 설계됨캐글(Kaggle) 등 머신러닝 경진대회에서 널리사용됨  동작 원리초기 모델 학습첫 번째 결정 트리를 학습하여 기본 모델을 생성잔여 오차(Residual) 계산초기 모델의 예측값과 실제값 간의 차이(오차)를 계산잔여 오차를 예측하는 새로운 트리 학습이전 모델이 학습하지 못한 부분(잔여 오차)을 보완하는 트리를 추가모델 업데이트기존 모델에 새롭게 학습된 ..

그래디언트 부스팅 머신(Gradient Boosting Machine, GBM) 여러 개의 약한 학습기(weak learner)를 순차적으로 학습시키고, 그 예측 결과를 결합하여 강한 학습기(strong learner)를 만드는 앙상블 학습 기법 중 하나 이전 모델이 잘못 예측한 데이터 포인트에 가중치를 부여하여, 다음 모델이 이를 더 잘 학습하도록 함 (각 단계에서 잔여 오차를 줄이도록 설계되어 있음)GBM은 과적합을 방지하면서도 높은 예측 성능을 제공하는 강력한 알고리즘다양한 하이퍼파라미터 튜닝을 통해 성능 최적화 가능 GBM의 구조여러 개의 결정 트리(Desicion Tree)로 구성됨각 결정 트리는 이전 트리의 예측 오류를 보완하는 방식으로 학습최종 예측 값은 개별 트리의 예측을 가중합하여 계산 ..

랜덤 포레스트(Random Forest) 배깅(Bagging) 기법을 기반으로 한 앙상블 학습 모델 여러 개의 결정 트리(Decision Tree)를 학습시킨 후, 각 트리의 예측 결과를 결합하여 최종 예측 수행개별 트리들이 독립적으로 학습되므로 과적합 방지, 일반화 성능 향상 가능  랜덤 포레스트의 구조여러 개의 결정 트리로 구성됨각 결정 트리는 원본 데이터에서 부트스트랩 샘플링(Bootstrap Sampling)된 데이터로 학습됨예측 시, 회귀 문제에서는 평균값, 분류 문제에서는 다수결 투표 방식을 사용 랜덤 포레스트의 원리부트스트랩 샘플링: 원본 데이터에서 중복을 허용하여 무작위 샘플 생성결정 트리 학습: 각 부트스트랩 샘플을 사용하여 결정 트리를 학습각 노드에서 무작위로 선택된 특성의 일부만 사용..