추천시스템 성능 평가

성능평가 단계

 

1. 모델에 대한 성능 평가 단계

- 과거의 정보를 가지고 미래를 예측

- 여러번 시간에 흐름에 따라 평가 해야 함

 

2. 심사위원 평가

- 정성적 평가

- 내부 인력, 외부인력 추천 결과의 품질을 평가

 

3. 온라인 성능 평가 A/B 테스트

- 서비스의 KPI 지표로 평가

- 시스템이 로그를 수집할 수 있도록 설계해아함

- 어떤 모델, 어떤 알고리즘인지 기록해야 함

 

Rating Prediction 성능평가

- RMSE

- 큰 오차에는 큰 페널티

- 작은 오차는 작은 페널티

 

- MAE 

- 오차 만큼의 페널티

TOP-K 추천 성능 평가

- Precision & Recall

혼동 행렬

 

Precision@K & Recall@K

 

추천 결과의 개수가 K개일 때 Precision & Recall

"사용자의 선호 아이템: A, B, C, D 라고 가정"

 

DCG 는 K 값에 따라서 많이 달라짐, 따라서 NDCG로 정규화 한다.

 

NDCG

- K에 따른 변화를 최소화 하기 위해 최선의 순서일 때의 DCG@K, 즉 IDCG@K를 구하고 이를 이용하여 정규화한 지표

 

DCG는 K값이 커지면 커지는 데에 반해 NDCG는 K값에 따라서 변화가 적고, 0~1 사이의 값을 가지기에 모델의 성능을 좀 더 쉽게 비교할 수 있다.