Recommender System Theory : 추천 시스템의 평가(Evaluation)
추천 시스템의 평가(Evaluation)
암시적 피드백(Implicit Feedback)에서는 관측되지 않은 칸을 다루는 여러 학습 방법을 살펴보았습니다. 방법이 여러 가지라면 어느 쪽이 더 좋은지 판단할 기준이 필요합니다. 그러나 추천 시스템의 평가는 일반적인 분류 문제의 평가보다 훨씬 까다롭습니다.
분류 모델은 정답이 있는 시험 데이터로 정확도를 측정하면 됩니다. 반면 추천 시스템이 맞혀야 하는 것은 사용자가 앞으로 좋아할 아이템이고, 그 정답은 사용자가 실제로 보고 반응한 일부 아이템에서만 드러납니다. 또한 추천 시스템이란?에서 다룬 것처럼 정확도만 높다고 좋은 추천이 되는 것도 아닙니다. 이 강좌에서는 추천 시스템을 평가하는 지표와, 지표를 계산할 데이터를 나누는 방법, 그리고 오프라인 평가와 온라인 평가의 관계를 살펴봅니다.
평점 예측의 평가
행렬 분해(Matrix Factorization)에서 다룬 명시적 피드백 모델은 평점 값을 예측하므로, 예측 값과 실제 평점의 차이로 평가할 수 있습니다. 대표적인 지표는 평균 제곱근 오차(Root Mean Squared Error, RMSE)입니다.
\(T\)는 시험용으로 남겨 둔 평점의 집합이고, \(r_{ui}\)와 \(\hat{r}_{ui}\)는 각각 실제 평점과 예측 평점입니다. 넷플릭스 프라이즈의 목표였던 오차 10% 감소도 RMSE를 기준으로 한 것입니다.
그러나 RMSE는 추천의 품질을 잘 나타내지 못합니다. 사용자에게 보이는 것은 예측 평점이 아니라 상위 몇 개의 아이템 목록이기 때문입니다. 사용자가 관심 없는 아이템의 평점을 2.1점에서 2.0점으로 더 정확히 맞히는 것은 추천 목록에 아무런 영향을 주지 않지만, RMSE는 똑같이 개선됩니다. 또한 암시적 피드백에는 비교할 평점 자체가 없습니다. 그래서 현대의 추천 시스템은 대부분 순위를 평가하는 지표를 사용합니다.
순위 지표
순위 지표는 모델이 만든 상위 \(K\)개의 추천 목록에, 시험 기간에 사용자가 실제로 상호작용한 아이템이 몇 개, 몇 번째에 들어 있는지를 측정합니다. 사용자가 실제로 상호작용한 아이템을 정답 아이템(Relevant Item)이라 합니다.
이후의 설명에서는 다음 예시를 사용합니다. 어떤 사용자의 정답 아이템이 A, C, F의 세 개이고, 두 모델이 다음과 같은 상위 5개 목록을 추천했습니다.
| 순위 | 1 | 2 | 3 | 4 | 5 |
|---|---|---|---|---|---|
| 모델 1 | B | A | D | C | E |
| 모델 2 | A | C | B | D | E |
두 모델 모두 정답 아이템 두 개를 목록에 넣었고 F는 놓쳤습니다. 차이는 정답 아이템이 놓인 위치뿐입니다.
정밀도와 재현율
Precision@K는 추천한 \(K\)개 중 정답 아이템의 비율이고, Recall@K는 전체 정답 아이템 중 추천 목록에 들어간 비율입니다.
예시의 두 모델은 모두 \(\text{Precision@}5 = 2/5 = 0.4\), \(\text{Recall@}5 = 2/3 \approx 0.667\)입니다. 정답 아이템을 목록의 맨 위에 놓은 모델 2가 사용자에게 더 좋은 추천이지만, 두 지표는 목록 안의 순서를 구분하지 못합니다.
정답 아이템이 하나라도 목록에 들어 있으면 1, 아니면 0으로 계산하는 적중률(Hit Rate@K)도 자주 사용합니다. 사용자마다 정답 아이템이 하나뿐인 평가에서는 Recall@K와 같은 값이 됩니다.
MRR(Mean Reciprocal Rank)
MRR(Mean Reciprocal Rank)은 첫 번째 정답 아이템의 순위의 역수를 모든 사용자에 대해 평균합니다.
모델 1은 첫 정답이 2위이므로 역수 순위가 \(1/2 = 0.5\)이고, 모델 2는 1위이므로 1입니다. 사용자가 목록을 위에서부터 보다가 하나만 찾으면 되는 상황, 예를 들어 검색 결과나 다음에 볼 동영상 하나를 고르는 상황에 잘 맞는 지표입니다. 반면 두 번째 이후의 정답 아이템은 고려하지 않습니다.
MAP(Mean Average Precision)
평균 정밀도(Average Precision, AP)는 정답 아이템이 나타난 위치마다 그 위치까지의 정밀도를 구해 평균합니다.
\(\text{rel}_k\)는 \(k\)번째 아이템이 정답이면 1, 아니면 0입니다. 모델 1은 2위와 4위에서 정답이 나타나므로, 각 위치의 정밀도 \(1/2\)과 \(2/4\)를 더해 정답 수 3으로 나누면 \(\text{AP@}5 = (0.5 + 0.5) / 3 \approx 0.333\)입니다. 모델 2는 1위와 2위에서 정답이 나타나므로 \((1/1 + 2/2) / 3 \approx 0.667\)입니다. 이 값을 모든 사용자에 대해 평균한 것이 MAP(Mean Average Precision)입니다.
-
Tip : AP의 분모는 구현에 따라 전체 정답 수, 목록에 들어간 정답 수, $$ \min( \text{Rel} , K) $$ 등으로 다르게 정의됩니다. 논문이나 라이브러리의 수치를 비교할 때는 같은 정의로 계산했는지 먼저 확인해야 합니다.
NDCG(Normalized Discounted Cumulative Gain)
NDCG(Normalized Discounted Cumulative Gain)는 순위 지표 중 가장 널리 쓰이는 지표입니다. 각 정답 아이템의 이득을 순위가 낮아질수록 할인해서 더합니다.
할인 계수 \(1 / \log_2 (k + 1)\)은 1위부터 차례로 1, 0.631, 0.5, 0.431, 0.387입니다. 모델 1의 DCG는 \(0.631 + 0.431 = 1.062\)이고, 모델 2의 DCG는 \(1 + 0.631 = 1.631\)입니다.
DCG는 정답 아이템의 수에 따라 크기가 달라지므로, 정답 아이템을 가장 이상적인 순서로 놓았을 때의 값인 IDCG(Ideal DCG)로 나누어 0과 1 사이로 정규화합니다.
예시의 정답 아이템은 세 개이므로 이상적인 목록은 1위부터 3위까지가 모두 정답이고, \(\text{IDCG@}5 = 1 + 0.631 + 0.5 = 2.131\)입니다. 따라서 모델 1의 NDCG@5는 \(1.062 / 2.131 \approx 0.498\), 모델 2는 \(1.631 / 2.131 \approx 0.765\)입니다. 정밀도와 재현율이 같던 두 모델이 순서의 차이만큼 구분됩니다.
\(\text{rel}_k\)에 0과 1 대신 평점이나 구매 여부 같은 등급을 넣으면, 클릭보다 구매처럼 더 중요한 정답에 더 큰 이득을 줄 수도 있습니다.
정확도 외의 지표
추천 시스템이란?에서 다룬 다양성, 새로움, 커버리지도 수치로 측정할 수 있습니다. 이 지표들은 정확도 지표와 함께 보고, 정확도를 조금 잃는 대신 얼마나 얻는지를 비교하는 데 사용합니다.
커버리지(Coverage): 모든 사용자의 추천 목록에 한 번이라도 등장한 아이템이 전체 아이템 중 몇 퍼센트인지 계산합니다. 인기 아이템만 추천하는 모델은 정확도가 높아도 커버리지가 매우 낮습니다. 추천 횟수가 일부 아이템에 얼마나 몰려 있는지를지니 계수(Gini Coefficient)로 측정하기도 합니다.목록 내 다양성(Intra-List Diversity): 한 추천 목록 안의 아이템 쌍마다 콘텐츠 기반 필터링의 유사도로 거리를 계산해 평균합니다. 값이 클수록 서로 다른 아이템이 섞여 있다는 뜻입니다.새로움(Novelty): 추천된 아이템이 얼마나 덜 알려진 아이템인지 측정합니다. 아이템 \(i\)를 상호작용한 사용자의 비율을 \(p_i\)라 할 때, \(-\log_2 p_i\)를 추천 목록에 대해 평균합니다. 모든 사용자가 아는 아이템은 0에 가깝고, 드문 아이템일수록 값이 커집니다.
- Tip : 정확도 외의 지표는 단독으로 최적화하면 쉽게 망가집니다. 무작위 추천은 커버리지와 다양성, 새로움이 모두 매우 높지만 쓸모없는 추천입니다. 그래서 이 지표들은 정확도가 크게 떨어지지 않는 범위 안에서 비교해야 의미가 있습니다.
데이터 분할
지표를 계산하려면 학습에 사용하지 않은 상호작용을 정답으로 남겨 두어야 합니다. 어떤 상호작용을 남겨 두느냐에 따라 같은 모델의 점수가 크게 달라지며, 잘못 나누면 실제 서비스에서는 불가능한 예측을 평가하게 됩니다.
| 방식 | 나누는 방법 | 특징 |
|---|---|---|
| 무작위 분할 | 전체 상호작용을 무작위로 나눔 | 간단하지만 미래의 정보로 과거를 예측하는 누수가 생김 |
| Leave-One-Out | 사용자마다 마지막 상호작용 하나를 정답으로 남김 | 사용자마다 시점이 달라 전체 시간 순서는 섞임 |
| 시간 기준 분할 | 특정 시점 이전은 학습, 이후는 시험 | 실제 서비스와 가장 가까움 |
무작위 분할(Random Split)은 분류 문제에서 흔히 쓰는 방식이지만, 추천에서는 시간의 누수가 생깁니다. 어떤 사용자의 3월 상호작용이 시험 데이터에 있고 4월 상호작용이 학습 데이터에 있다면, 모델은 미래의 취향을 보고 과거를 맞히게 됩니다. 4월에 크게 유행한 아이템이 학습 데이터에 들어가, 그 이전 시점의 추천까지 유리하게 만들기도 합니다.
Leave-One-Out은 사용자마다 가장 마지막 상호작용 하나를 정답으로 남깁니다. 사용자 단위로는 시간 순서를 지키지만, 어떤 사용자의 마지막 상호작용은 2020년이고 다른 사용자의 학습 데이터는 2023년까지 있을 수 있으므로 전체 시간 순서는 여전히 섞입니다.
시간 기준 분할(Temporal Split)은 하나의 시점을 정해 그 이전의 데이터로 학습하고, 이후의 상호작용을 정답으로 사용합니다. 실제 서비스도 과거의 데이터로 학습한 모델이 미래의 사용자를 상대하므로, 이 방식이 가장 현실에 가깝습니다. 이때 학습 기간에 없던 신규 사용자와 신규 아이템이 시험 기간에 등장하므로, 콜드 스타트까지 함께 평가하게 됩니다.
- Tip : 시간 기준 분할에서는 하이퍼파라미터를 고르는 검증 데이터도 시간 순서를 따라야 합니다. 학습, 검증, 시험 기간을 차례로 놓고, 최종 모델은 검증 기간까지 포함해 다시 학습하는 경우가 많습니다.
샘플링 평가의 함정
아이템이 수백만 개라면 모든 사용자에 대해 모든 아이템의 점수를 계산하고 순위를 매기는 비용이 큽니다. 그래서 한동안 많은 연구가 정답 아이템 하나와 무작위로 뽑은 오답 아이템 100개만 놓고 순위를 매기는 샘플링 평가(Sampled Metrics)를 사용했습니다.
그러나 2020년 월리드 크리체네(Walid Krichene)와 스테펜 렌들(Steffen Rendle)은 샘플링 평가의 결과가 전체 아이템으로 평가한 결과와 모델의 순위가 뒤바뀔 수 있다는 것을 보였습니다. 무작위로 뽑은 오답 100개는 대부분 롱테일의 아이템이므로, 정답 아이템을 그보다 위에 놓는 것은 쉬운 일입니다. 실제 서비스처럼 비슷하게 그럴듯한 수많은 아이템 사이에서 정답을 골라내는 능력은 이 방식으로 드러나지 않습니다.
그래서 현재는 가능하면 전체 아이템을 대상으로 순위를 계산하는 것이 권장됩니다. 계산 비용 때문에 샘플링이 불가피하다면, 샘플링 평가라는 사실과 뽑은 방식을 함께 밝혀야 합니다.
오프라인 평가와 온라인 평가
지금까지의 지표는 모두 과거에 기록된 데이터로 계산하는 오프라인 평가(Offline Evaluation)입니다. 오프라인 평가는 빠르고 비용이 들지 않아 여러 모델을 비교하고 후보를 좁히는 데 필수적이지만, 근본적인 한계가 있습니다.
암시적 피드백에서 다룬 것처럼 과거 데이터에는 당시 추천 시스템이 보여 준 아이템에 대한 반응만 기록되어 있습니다. 새 모델이 기존 모델과 다른 아이템을 추천한다면, 그 아이템에 사용자가 어떻게 반응했을지는 기록에 없습니다. 기존 모델과 비슷하게 추천하는 모델일수록 오프라인 점수가 높게 나오는 편향이 생기며, 그 결과 오프라인 지표의 개선이 실제 서비스의 개선으로 이어지지 않는 경우가 많습니다.
A/B 테스트
최종 판단은 실제 사용자를 무작위로 두 집단으로 나누어, 한쪽에는 기존 모델을, 다른 쪽에는 새 모델을 보여 주는 A/B 테스트(A/B Test)로 내립니다. 두 집단은 모델을 제외한 모든 조건이 같으므로, 지표의 차이는 모델의 차이로 해석할 수 있습니다.
A/B 테스트에서 주로 보는 지표는 클릭률, 구매 전환율, 체류 시간, 재방문율처럼 서비스의 목표와 직결되는 지표입니다. 이때 관측된 차이가 우연에 의한 것인지를 통계적 검정으로 확인해야 합니다.
예를 들어 두 집단에 각각 10만 명을 배정했고, 기존 모델의 클릭률이 5.0%, 새 모델의 클릭률이 5.2%였다고 하겠습니다. 두 집단을 합친 클릭률 \(\bar{p} = 0.051\)로 차이의 표준 오차를 계산하면 다음과 같습니다.
\[\text{SE} = \sqrt{\bar{p} (1 - \bar{p}) \left( \frac{1}{n_A} + \frac{1}{n_B} \right)} = \sqrt{0.051 \times 0.949 \times \frac{2}{100000}} \approx 0.000984\]차이 0.002를 표준 오차로 나누면 \(z \approx 2.03\)이고, 이에 해당하는 양측 유의 확률은 약 0.042입니다. 일반적인 기준인 0.05보다 작으므로 차이가 통계적으로 유의하다고 판단합니다. 같은 0.2%p의 차이라도 집단의 크기가 1만 명이었다면 표준 오차가 약 3.2배 커져 유의하지 않았을 것입니다. 추천 모델의 개선은 보통 이처럼 작은 차이로 나타나므로, A/B 테스트에는 충분히 많은 사용자와 기간이 필요합니다.
- Tip : 단기 지표와 장기 지표가 충돌하는 경우가 많습니다. 자극적인 아이템을 위에 놓으면 이번 주의 클릭률은 오르지만, 사용자가 피로를 느껴 몇 달 뒤의 재방문율은 떨어질 수 있습니다. 그래서 A/B 테스트에서는 클릭률 같은 주 지표와 함께 이탈률이나 장기 재방문율 같은 안전 지표(Guardrail Metric)를 함께 관찰합니다.
오프 폴리시 평가
A/B 테스트는 정확하지만 비용이 크고, 실제 사용자에게 나쁜 추천을 보여 줄 위험이 있습니다. 그 중간 단계로, 과거의 기록을 이용해 새 모델을 배포했다면 어떤 결과가 나왔을지를 추정하는 오프 폴리시 평가(Off-Policy Evaluation)가 연구되고 있습니다.
대표적인 방법인 역성향 가중치(Inverse Propensity Scoring, IPS)는 기존 시스템이 각 아이템을 노출할 확률을 기록해 두고, 새 모델이 추천할 아이템의 반응을 그 확률의 역수로 가중해서 평균합니다. 기존 시스템이 드물게 보여 준 아이템의 반응은 크게, 자주 보여 준 아이템의 반응은 작게 반영해 노출의 편향을 보정하는 것입니다. 이 방법을 쓰려면 기존 시스템이 아이템을 노출한 확률을 알아야 하므로, 일부 트래픽에서 무작위성을 섞어 노출하고 그 확률을 기록해 두는 것이 중요합니다.
추천 시스템의 평가 정리
| 지표 | 측정하는 것 | 순서 반영 | 특징 |
|---|---|---|---|
| RMSE | 예측 평점의 오차 | X | 명시적 피드백 전용, 목록 품질과 괴리 |
| Precision@K | 추천 목록 중 정답의 비율 | X | 목록 크기에 민감 |
| Recall@K, Hit Rate@K | 정답 중 목록에 들어간 비율 | X | 후보 생성 단계의 평가에 적합 |
| MRR | 첫 정답의 순위 | O | 하나만 찾으면 되는 상황에 적합 |
| MAP | 정답 위치마다의 정밀도 평균 | O | 분모의 정의가 구현마다 다름 |
| NDCG | 순위로 할인한 이득의 합 | O | 가장 널리 쓰임, 등급형 정답 지원 |
| 커버리지, 다양성, 새로움 | 정확도 외의 품질 | - | 정확도와 함께 비교 |
추천 시스템의 평가는 무엇을 정답으로 볼지, 언제를 기준으로 나눌지, 어떤 지표로 볼지를 모두 정해야 하는 문제입니다. 후보 생성 단계에서는 정답을 놓치지 않는 것이 중요하므로 Recall@K를, 랭킹 단계에서는 정답을 위에 놓는 것이 중요하므로 NDCG를 주로 사용합니다. 데이터는 시간 기준으로 나누고, 순위는 전체 아이템을 대상으로 계산하는 것이 실제 서비스의 성능에 가장 가까운 추정을 줍니다.
그러나 오프라인 평가는 과거에 보여 준 아이템의 기록에 묶여 있으므로, 최종 판단은 언제나 A/B 테스트로 내립니다. 오프라인 평가는 A/B 테스트에 올릴 후보를 고르는 거름망의 역할을 합니다.
지금까지 다룬 행렬 분해 계열의 모델은 사용자와 아이템의 식별자만 사용하고, 두 벡터의 내적으로만 점수를 계산했습니다. 다음 강좌에서는 사용자와 아이템의 속성, 맥락 정보를 함께 사용하고 특성 사이의 상호작용을 신경망으로 학습하는 신경망 기반 추천 모델을 다룹니다.
- Writer by : 윤대희
댓글 남기기