LightGBM에 대하여

LightGBM: 기존 GBM들 보다 훨씬 더 빠르게 학습이 된다.

 

아이디어는 별개 아닌데, 추후 모델에 많은 기여를 한 모델이다.

 

기존 GBM들은 level-wise 방식으로 tree를 만들었다.

Level-wise라는건 DT가 학습할 때 같은 level에 있는 노드들을 모두 split한 뒤에 다음 level로 넘어가는 방식을 얘기한다.

깊이가 너무 커지면 overfitting될 가능성이 높기 때문에, Level을 제한하여 최대한 모델을 키우는 방식을 사용해왔다.

 

 

 

Light GBM이 제안하는 메인 아이디어는 Level-wise 방식이나 Leaf-wise 방식 모두 optional을 만들게 된다면 비슷한 DT를 만들게 된다는 것에서 시작한다.

Leaf-wise를 사용한다면, 훨씬 더 빠르게 optimal을 찾을 수 있다는 것이 포인트

전체 Loss가 줄어드는 방향으로 node를 선정해서 split을 한다. 이 때 level을 유지하려는 경향을 포기

필요한 노드들만 split하면 되기 때문에, 기존 GBM들과 비교했을 때 훨씬 빠르게 학습 가능

적은 데이터를 사용하면 과적합이 될 가능성이 높아지는 단점 존재 (10000 rows 이상 추천)

다른 GBM들에 비해 하이퍼 파라미터가 sensitive하다(특히 max_depth에 가장 민감하다) -> 세세하게 잘 설정해 주어야 성능이 잘 나온다.

 

 

1. 학습속도가 빠르고 성능이 좋다

2. 하이퍼 파라미터 튜닝 시간이 더 걸린다.

3. 선형 회귀 한정으로 현재 인기가 가장 많고, 성능이 좋다.