Recommender System Theory : 투 타워 모델과 후보 생성(Two-Tower Model & Candidate Generation)
후보 생성(Candidate Generation)
신경망 기반 추천(Neural Recommendation)에서 다룬 랭킹 모델은 사용자와 아이템의 특성을 함께 넣어 점수를 계산하므로, 아이템마다 모델을 한 번씩 계산해야 합니다. 후보가 수백 개라면 문제없지만, 아이템이 수백만 개라면 사용자가 화면을 열 때마다 수백만 번의 계산을 할 수는 없습니다.
추천 시스템이란?에서 다룬 것처럼, 대규모 추천 시스템은 랭킹 앞에 후보 생성(Candidate Generation) 단계를 둡니다. 후보 생성은 전체 아이템 중 사용자와 관련 있을 만한 수백에서 수천 개의 아이템을 수십 밀리초 안에 골라내야 합니다. 이 단계에서 빠진 아이템은 뒤 단계에서 되살릴 수 없으므로, 추천 시스템의 평가(Evaluation)에서 다룬 지표 중 Recall@K가 가장 중요한 지표가 됩니다.
이 강좌에서는 후보 생성에 널리 쓰이는 투 타워 모델과 그 학습 방법, 그리고 학습된 벡터로 후보를 빠르게 찾는 방법을 살펴봅니다.
투 타워 모델(Two-Tower Model)
빠른 후보 생성의 핵심은 사용자와 아이템을 따로 계산하는 것입니다. 투 타워 모델(Two-Tower Model)은 사용자의 특성을 입력받아 사용자 벡터를 만드는 사용자 타워(User Tower)와, 아이템의 특성을 입력받아 아이템 벡터를 만드는 아이템 타워(Item Tower)로 구성됩니다. 점수는 두 벡터의 내적으로 계산합니다.
\(f_{\theta}\)와 \(g_{\phi}\)는 각각 사용자 타워와 아이템 타워이고, \(\mathbf{x}_u\)와 \(\mathbf{x}_i\)는 사용자와 아이템의 특성입니다. 각 타워는 신경망 기반 추천에서 다룬 것처럼 범주형 특성을 임베딩하고 다층 퍼셉트론을 통과시키는 구조이며, 마지막 층의 출력이 같은 차원의 벡터가 되도록 맞춥니다.
이 구조는 검색 증강 생성(Retrieval-Augmented Generation)에서 다룬 바이 인코더(Bi-Encoder)와 같습니다. 질문과 문서를 따로 인코딩했던 것처럼, 사용자와 아이템을 따로 인코딩합니다. 그래서 듀얼 인코더(Dual Encoder)라고도 부릅니다.
따로 계산하는 이점
두 타워가 서로의 입력을 보지 않으므로, 모든 아이템의 벡터를 미리 계산해 저장해 둘 수 있습니다. 사용자가 접속하면 사용자 타워만 한 번 계산하고, 저장된 아이템 벡터 중 내적이 큰 것을 찾으면 됩니다. 아이템 수가 아무리 많아도 실시간으로 계산하는 신경망은 사용자 타워 하나뿐입니다.
또한 투 타워 모델은 행렬 분해(Matrix Factorization)의 확장으로 볼 수 있습니다. 사용자 타워에 사용자 ID만, 아이템 타워에 아이템 ID만 넣고 임베딩을 그대로 출력하면 행렬 분해와 같아집니다. 여기에 속성 정보를 더하면 행렬 분해의 콜드 스타트 문제가 완화됩니다. 상호작용이 없는 새 아이템도 카테고리, 가격, 설명 텍스트 같은 속성이 있으면 아이템 타워로 벡터를 만들 수 있기 때문입니다.
따로 계산하는 대가
두 타워는 마지막 내적 단계에서만 만나므로, 사용자 특성과 아이템 특성 사이의 세밀한 상호작용을 표현하지 못합니다. 랭킹 모델은 “이 사용자가 이 가격대의 이 브랜드를 좋아하는가”를 특성의 조합으로 직접 계산할 수 있지만, 투 타워 모델은 그 정보를 각자의 벡터 하나에 미리 압축해 두어야 합니다.
그래서 투 타워 모델은 랭킹 모델보다 정확도가 낮으며, 이 차이는 바이 인코더와 크로스 인코더의 차이와 같습니다. 후보 생성은 투 타워 모델로 넓게 추리고, 정밀한 순서는 랭킹 모델에 맡기는 것이 다단계 구조의 역할 분담입니다.
유튜브의 후보 생성 모델
2016년 유튜브는 Deep Neural Networks for YouTube Recommendations에서 신경망 기반의 후보 생성 모델을 공개했습니다. 이 모델은 후보 생성을 수백만 개의 클래스 중 하나를 고르는 분류 문제로 정의했습니다. 사용자와 맥락이 주어졌을 때, 다음에 시청할 동영상이 어떤 것인지를 동영상마다 하나의 클래스로 두고 예측합니다.
사용자 쪽 입력으로는 최근 시청한 동영상들의 임베딩 평균, 최근 검색어 토큰들의 임베딩 평균, 지역, 나이, 성별 등을 이어 붙여 다층 퍼셉트론에 넣었습니다. 마지막 은닉층의 출력이 사용자 벡터가 되고, 출력층의 각 동영상에 해당하는 가중치가 동영상 벡터가 됩니다. 즉, 소프트맥스(Softmax) 출력층을 가진 분류 모델이지만, 구조적으로는 사용자 벡터와 동영상 벡터의 내적을 계산하는 투 타워 모델과 같습니다.
이 논문은 실무적인 기법으로도 유명합니다.
- 학습 데이터의 출처 : 추천으로 시청한 기록만이 아니라 검색이나 외부 링크로 시청한 기록까지 사용해, 기존 추천 시스템의 편향이 학습 데이터에 갇히지 않도록 했습니다.
- 예제의 나이(Example Age) : 사용자는 새로 올라온 동영상을 선호하지만, 과거 데이터로 학습한 모델은 오래된 동영상에 유리합니다. 학습 예제가 만들어진 시점을 특성으로 넣고, 추론할 때는 이 값을 0으로 두어 현재 시점의 예측을 하도록 했습니다.
- 다음 시청 예측 : 무작위로 고른 시청 기록을 가리고 맞히는 대신, 특정 시점까지의 기록으로 그 다음의 시청을 맞히도록 학습 데이터를 만들었습니다. 이는 추천 시스템의 평가에서 다룬 시간의 누수를 학습 단계에서 막는 것과 같습니다.
투 타워 모델의 학습
투 타워 모델은 주로 사용자가 상호작용한 아이템을 정답으로, 다른 아이템들을 오답으로 두는 목록 단위의 소프트맥스 손실로 학습합니다. 사용자 \(u\)와 정답 아이템 \(i\)에 대해 손실은 다음과 같습니다.
\[\mathcal{L} = - \log \frac{\exp \left( s(u, i) / \tau \right)}{\sum_{j \in \mathcal{C}} \exp \left( s(u, j) / \tau \right)}\]\(\mathcal{C}\)는 정답 아이템과 오답 아이템들로 구성된 후보 집합입니다. 모든 아이템을 분모에 넣으면 정확하지만 계산이 불가능하므로, 일부만 뽑아서 계산하는 샘플링 소프트맥스(Sampled Softmax)를 사용합니다. 오답으로는 암시적 피드백에서 다룬 배치 내 네거티브, 즉 같은 배치에 들어 있는 다른 사용자의 정답 아이템을 주로 사용합니다. 아이템 타워를 한 번 계산하면 배치 안의 모든 사용자에 대한 오답으로 재사용할 수 있으므로 효율적입니다.
예를 들어 정답 아이템의 점수가 2.0이고, 배치 내 네거티브 세 개의 점수가 1.0, 0.5, 0.0이라 하겠습니다. 온도 \(\tau = 1\)이면 정답 아이템의 확률은 약 0.579이고 손실은 \(-\ln 0.579 \approx 0.546\)입니다.
온도(Temperature)
\(\tau\)는 검색 증강 생성의 대조 학습에서 다룬 온도(Temperature)입니다. 같은 예에서 온도를 0.5로 낮추면 점수가 각각 4, 2, 1, 0으로 두 배가 되어, 정답 아이템의 확률은 약 0.831, 손실은 약 0.185가 됩니다. 온도가 낮을수록 점수의 작은 차이가 확률에서 크게 벌어지므로, 정답과 헷갈리는 오답에 더 큰 기울기가 집중됩니다.
투 타워 모델에서는 사용자 벡터와 아이템 벡터를 길이 1로 정규화해 내적을 코사인 유사도로 만들고, 0.05에서 0.1 정도의 낮은 온도를 함께 사용하는 경우가 많습니다. 코사인 유사도는 -1과 1 사이의 값이므로, 온도로 나누지 않으면 확률의 차이가 충분히 벌어지지 않기 때문입니다.
샘플링 편향 보정
배치 내 네거티브는 배치에 들어온 아이템을 오답으로 사용하므로, 아이템이 오답으로 뽑힐 확률은 그 아이템의 상호작용 빈도에 비례합니다. 암시적 피드백에서는 이 성질을 인기도 기반 샘플링의 장점으로 보았지만, 인기 아이템이 지나치게 자주 오답이 되면 모델은 인기 아이템의 점수를 과도하게 낮추게 됩니다.
2019년 구글의 이신양(Xinyang Yi) 연구진은 이 편향을 보정하는 방법을 제안했습니다. 아이템 \(j\)가 배치에 포함될 확률을 \(q_j\)라 할 때, 소프트맥스에 넣는 점수에서 \(\log q_j\)를 빼 줍니다.
\[s^{c}(u, j) = s(u, j) - \log q_j\]자주 뽑히는 아이템일수록 \(\log q_j\)가 크므로 점수가 적게 올라가고, 드물게 뽑히는 아이템일수록 점수가 많이 올라갑니다. 결과적으로 모든 아이템을 균등하게 오답으로 사용한 것과 비슷한 효과를 냅니다. 이 방법을 logQ 보정(logQ Correction)이라 하며, 보정은 학습할 때만 적용하고 추론할 때는 원래 점수 \(s(u, j)\)를 사용합니다. 각 아이템의 빈도는 학습 데이터의 스트림에서 추정합니다.
- Tip : 배치 내 네거티브는 실제로 자주 등장하는 아이템만 오답으로 쓰므로, 한 번도 배치에 들어오지 않는 롱테일 아이템과는 비교 학습이 이루어지지 않습니다. 그래서 전체 아이템에서 균등하게 뽑은 오답을 일부 섞어 함께 사용하는
혼합 네거티브 샘플링(Mixed Negative Sampling)도 사용됩니다.
최대 내적 검색
학습이 끝나면 모든 아이템의 벡터를 미리 계산해 둡니다. 사용자가 접속하면 사용자 벡터를 계산하고, 아이템 벡터 중 내적이 가장 큰 K개를 찾습니다. 이 문제를 최대 내적 검색(Maximum Inner Product Search, MIPS)이라 합니다.
아이템이 수백만 개라면 모든 아이템과 내적을 계산하는 것도 부담이 되므로, 검색 증강 생성에서 다룬 근사 최근접 이웃(Approximate Nearest Neighbor, ANN) 검색을 사용합니다. 군집으로 나누어 일부 군집만 탐색하는 IVF, 이웃 그래프를 따라가는 HNSW, 벡터를 압축하는 양자화 등이 그대로 쓰입니다. 정확한 상위 K개를 일부 놓칠 수 있지만, 검색 시간을 수백 배 이상 줄일 수 있습니다.
벡터를 길이 1로 정규화했다면 내적과 코사인 유사도가 같아지므로, 최대 내적 검색이 일반적인 최근접 이웃 검색과 같은 문제가 됩니다. 정규화하지 않은 벡터에서는 벡터의 길이가 점수에 영향을 주며, 인기 아이템의 벡터가 길어져 많은 사용자의 후보에 반복해서 등장하는 경향이 생깁니다.
- Tip : 아이템 벡터는 아이템 타워가 다시 학습될 때마다 모두 새로 계산해 색인을 다시 만들어야 합니다. 사용자 타워와 아이템 타워를 다른 시점의 모델로 계산하면 두 벡터가 서로 다른 공간에 놓이게 되므로, 두 타워의 버전을 반드시 맞춰야 합니다.
다중 후보 생성
실제 서비스에서는 하나의 후보 생성 모델만 사용하지 않고, 서로 다른 성격의 후보 생성기 여러 개를 함께 사용합니다.
| 후보 생성기 | 근거 | 강점 |
|---|---|---|
| 투 타워 모델 | 사용자와 아이템의 학습된 벡터 | 개인화, 속성을 이용한 신규 아이템 대응 |
| 아이템 기반 협업 필터링 | 최근 상호작용한 아이템과 자주 함께 소비된 아이템 | 직전 행동에 대한 즉각적인 반응 |
| 콘텐츠 기반 유사 아이템 | 최근 본 아이템과 속성이 비슷한 아이템 | 상호작용이 적은 아이템 |
| 인기, 신규 아이템 | 최근 인기도, 등록 시점 | 신규 사용자, 탐색 |
| 구독, 팔로우 | 사용자가 명시한 관계 | 확실한 관심사 |
협업 필터링(Collaborative Filtering)의 아이템 기반 방법은 사용자가 방금 본 아이템을 기준으로 바로 후보를 만들 수 있고, 투 타워 모델은 장기적인 취향을 반영합니다. 각 후보 생성기가 수백 개씩 후보를 만들면, 중복을 제거하고 합친 다음 랭킹 모델로 넘깁니다. 랭킹 모델은 후보가 어느 생성기에서 왔는지와 무관하게 같은 기준으로 점수를 매기므로, 성격이 다른 후보 생성기들을 하나의 순서로 통합하는 역할도 합니다.
후보 생성기를 여러 개 두면 하나의 모델이 놓친 아이템을 다른 모델이 보완할 수 있고, 새로운 후보 생성기를 추가하거나 제거하는 실험도 쉬워집니다. 반면 각 생성기에서 몇 개의 후보를 가져올지 정하는 비율이 결과에 큰 영향을 주므로, 이 비율도 A/B 테스트로 조정합니다.
투 타워 모델과 후보 생성 정리
| 구성 요소 | 역할 | 비고 |
|---|---|---|
| 사용자 타워 | 사용자 특성으로 사용자 벡터 계산 | 요청마다 한 번 계산 |
| 아이템 타워 | 아이템 특성으로 아이템 벡터 계산 | 미리 계산해 색인에 저장 |
| 내적 점수 | 사용자와 아이템의 유사도 | 정규화하면 코사인 유사도 |
| 샘플링 소프트맥스 | 정답과 오답을 함께 비교하는 학습 | 배치 내 네거티브, 낮은 온도 |
| logQ 보정 | 배치 내 네거티브의 인기도 편향 보정 | 학습할 때만 적용 |
| 근사 최근접 이웃 검색 | 내적이 큰 아이템을 빠르게 검색 | IVF, HNSW, 양자화 |
투 타워 모델은 사용자와 아이템을 따로 계산한다는 제약을 받아들이는 대신, 수백만 개의 아이템에서 후보를 수십 밀리초 안에 찾을 수 있게 합니다. 이는 행렬 분해의 내적 구조를 유지하면서, 벡터를 만드는 부분만 신경망으로 바꾸어 속성과 맥락을 사용할 수 있게 한 것입니다.
후보 생성과 랭킹은 같은 추천 문제를 서로 다른 조건에서 푸는 단계입니다. 후보 생성은 빠르고 넓게, 놓치지 않는 것을 목표로 하고, 랭킹은 느리지만 정밀하게, 순서를 맞히는 것을 목표로 합니다. 그래서 두 단계는 서로 다른 모델 구조와 학습 데이터, 평가 지표를 사용하며, 한 단계의 개선이 전체 추천의 개선으로 이어지는지는 다른 단계와 함께 평가해야 합니다.
- Writer by : 윤대희
댓글 남기기