[AI 엔지니어 기초 다지기] 5일차

[24.01.19]

1주차 5차시 - 트리 모델

 

1. What is Tree model?

 1.1 의사결정나무 Decision Tree

  - Tree model 중 가장 기본적인 모델이다.

  - 컬럼(feature) 값들을 특정 기준으로 나누어, 목적에 맞는 의사결정을 만드는 방법.

  - 특정 기준에 yes or no 로 decision을 만듦. 스무고개라 생각하면 비슷하다.

Decision Tree

 

 1.2 Tree model의 발전형

 : Random Forest, Ada Boost, GBM, XGBoost, LightGBM, CatBoost 등이 있다.

 

 1.3 Bagging & Boosting

  1) Bagging(Bootstrap + Aggregation)

      - 데이터셋을 샘플링(=Bootstrap)해서 모델을 만들어나가는 것.

      - 샘플링한 데이터셋으로 하나의 Decision Tree를 만들고, 그렇게 만든 Tree들의 Decision을 취합Aggregation(앙상블Ensemble 한다고도 )하여 하나의 최종 Decision을 생성하는 방식. 

 

   2) Boosting

     - 한 번 학습을 하고 난 뒤, 보완점을 찾아내어 다음 Tree를 만들 때 좀 더 좋은 모델을 만들어내는 방식. 대표 알고리즘으로는 LightGBM, XGBoost, CatBoost 등이 있다.

 

 

 

2. Hyper parameter

Tree model을 만들 때 조정할 수 있고, 꼭 고려해야 하는 parameter들은 아래와 같은 것들이 있다.

모델 별로 이름이 조금씩 다르니, 참고하도록 하자!