Lasso 와 Ridge 회귀 (regression)

 Lasso, Ridge : Linear Regression 모델이 고차원 공간에 over fitting이 쉽게 되는 문제를 해결한 기법

 

Lasso

• weight의 L1 term을 Loss function에 더해준다
• Loss가 증가한다.
• 추가된 항 (L1 term)도 gradient descent algorithm의 최적화 대상에 속한다.
• L1 term을 제약조건이라고 부르고 또는 Regularization term이라고 한다. (L1 규제)

 

 

Ridge

• weight의 L2 term을 Loss function에 더해준다
• Loss가 증가한다.
• 추가된 항 (L2 term)도 gradient descent algorithm의 최적화 대상에 속한다.
• L2 term을 제약조건이라고 부르고 또는 Regularization term이라고 한다. (L2 규제)

 

 

Lasso or Ridge를 적용했을때 성능이 향상됐다 -> 모델에 사용되는 feature vector가 차원을 줄일 필요가 있는 방증

• -> feature selection이 성능 향상을 가져온다.
• Regularization을 할 때, weight를 사용하는 방식을 weight decay라고 한다.
• weight decay를 주개 되면, Gradient descnet algorithm이 loss space를 탐색할 때 제약조건을 받게 되는 효과가 존재
• 제약 조건 때문에 특정 가중치들이 사라지는 효과가 생기면서(0에 가깝거나 0이 됨) feature subset selection을 가지는 효과가 있다.

 

라소와 릿지는 현업에서 자주 쓰이는 모델이기 때문에 알아두어야 한다.