Recommender System Theory : 신경망 기반 추천(Neural Recommendation)
신경망 기반 추천(Neural Recommendation)
행렬 분해(Matrix Factorization)의 한계로 속성 정보의 부재와 내적의 표현력을 들었습니다. 행렬 분해는 사용자와 아이템의 식별자만으로 벡터를 학습하므로 사용자의 나이나 아이템의 카테고리를 쓰지 못하고, 점수는 두 벡터의 내적, 즉 잠재 요인별 곱의 단순한 합으로만 계산됩니다.
실제 서비스에서 사용자가 아이템을 클릭할지는 사용자와 아이템뿐 아니라 시간, 기기, 화면 위치, 직전에 본 아이템 같은 맥락에도 크게 좌우됩니다. 출근 시간에 모바일로 접속한 사용자와 주말 밤에 PC로 접속한 같은 사용자는 다른 아이템을 클릭합니다. 신경망 기반 추천 모델은 이런 다양한 정보를 하나의 모델에 넣고, 정보 사이의 상호작용을 신경망으로 학습합니다.
추천 시스템이란?에서 다룬 다단계 구조 중, 이런 무거운 모델은 주로 후보 수백 개의 점수를 정밀하게 계산하는 랭킹 단계에서 사용됩니다. 이 강좌에서는 랭킹 모델의 문제 설정과, 특성 사이의 상호작용을 학습하는 대표적인 모델들을 살펴봅니다.
클릭률 예측(CTR Prediction)
랭킹 단계의 문제는 보통 클릭률 예측(Click-Through Rate Prediction, CTR Prediction)으로 정의합니다. 사용자에게 어떤 아이템을 보여 주었을 때 클릭할 확률을 예측하고, 그 확률이 높은 순서로 아이템을 놓습니다.
학습 데이터는 노출 기록에서 만듭니다. 노출된 아이템 중 클릭된 것은 1, 클릭되지 않은 것은 0으로 레이블을 붙이므로, 이 문제는 지도 학습(Supervised Learning)의 이진 분류가 됩니다. 모델은 마지막 출력에 시그모이드 함수를 적용해 확률을 내고, 손실 함수(Loss Function)에서 다룬 이진 교차 엔트로피로 학습합니다.
암시적 피드백에서 노출되었지만 클릭되지 않은 아이템이 믿을 만한 부정적인 예라고 했습니다. 랭킹 단계는 노출 기록이 있으므로 네거티브 샘플링 없이 이 데이터를 그대로 사용할 수 있습니다.
랭킹 모델의 출력은 순서를 정하는 데만 쓰이지 않습니다. 광고에서는 예측 클릭률에 입찰가를 곱해 노출 순서와 과금액을 정하고, 여러 목표를 결합할 때는 클릭률과 구매율 같은 확률을 곱하거나 더합니다. 그래서 랭킹 모델은 순서뿐 아니라 확률 값 자체가 정확해야 하며, 예측 확률의 평균이 실제 클릭률과 맞는 성질을 보정(Calibration)이라 합니다.
특성의 표현
랭킹 모델의 입력은 대부분 범주형 특성입니다. 사용자 ID, 아이템 ID, 카테고리, 브랜드, 기기 종류, 요일 등이 모두 정해진 값 중 하나를 갖습니다. 이런 특성은 단어 임베딩(Word Embedding)에서 다룬 원-핫 인코딩으로 표현할 수 있지만, 아이템 ID 하나만 해도 수백만 차원이 되므로 그대로 쓰기 어렵습니다.
그래서 각 범주형 특성의 값마다 저차원의 벡터를 할당하는 임베딩(Embedding)을 사용합니다. 단어마다 벡터를 할당했던 것처럼, 사용자 ID, 아이템 ID, 카테고리 값마다 벡터를 하나씩 두고 학습합니다. 행렬 분해의 사용자 벡터와 아이템 벡터는 사실 사용자 ID와 아이템 ID의 임베딩이었던 셈입니다.
나이나 가격 같은 수치형 특성은 그대로 입력하거나, 구간으로 나누어 범주형 특성처럼 임베딩하기도 합니다. 이렇게 모든 특성을 벡터로 바꾼 다음, 벡터들을 어떻게 결합하느냐가 이후 모델들의 차이입니다.
팩토라이제이션 머신(Factorization Machine)
특성 사이의 상호작용이 중요한 이유는 간단합니다. 어떤 사용자가 액션 영화를 좋아한다는 것은 사용자 특성과 장르 특성의 조합에서 나오는 정보이고, 사용자 특성이나 장르 특성 하나만으로는 표현할 수 없습니다.
가장 직접적인 방법은 모든 특성 쌍마다 가중치를 하나씩 두는 것이지만, 특성의 값이 수백만 개라면 쌍의 수는 수조 개가 되고, 대부분의 쌍은 학습 데이터에 한 번도 함께 등장하지 않아 가중치를 학습할 수 없습니다.
2010년 스테펜 렌들(Steffen Rendle)이 발표한 팩토라이제이션 머신(Factorization Machine, FM)은 쌍마다 가중치를 두는 대신, 각 특성에 벡터 \(\mathbf{v}_i\)를 두고 두 벡터의 내적을 쌍의 가중치로 사용합니다.
\(w_0\)는 전체 편향, \(w_i\)는 각 특성의 가중치, \(x_i\)는 특성의 값입니다. 행렬 분해가 사용자와 아이템의 조합을 두 벡터의 내적으로 표현했듯, FM은 이 아이디어를 모든 특성의 쌍으로 확장한 것입니다. 실제로 입력 특성이 사용자 ID와 아이템 ID 두 개뿐이라면, FM은 편향 항이 있는 행렬 분해와 같아집니다.
두 특성이 학습 데이터에서 함께 등장한 적이 없어도, 각 특성의 벡터는 다른 특성과 함께 등장한 데이터로 학습되므로 처음 보는 조합의 가중치도 추정할 수 있습니다.
상호작용 항의 계산
쌍의 수는 특성 수의 제곱에 비례하지만, 상호작용 항은 다음과 같이 바꾸어 쓸 수 있습니다.
\[\sum_{i=1}^{n} \sum_{j=i+1}^{n} \left( \mathbf{v}_i \cdot \mathbf{v}_j \right) x_i x_j = \frac{1}{2} \sum_{f=1}^{k} \left[ \left( \sum_{i=1}^{n} v_{i,f} \, x_i \right)^2 - \sum_{i=1}^{n} v_{i,f}^2 \, x_i^2 \right]\]전체 합을 제곱하면 모든 쌍의 곱이 두 번씩 나오고 자기 자신과의 곱이 한 번씩 나오므로, 자기 자신과의 곱을 빼고 2로 나누면 쌍의 합이 됩니다. 이 형태는 특성 수 \(n\)과 벡터 차원 \(k\)에 대해 \(O(kn)\)으로 계산됩니다.
예를 들어 사용자, 아이템, 기기의 세 특성이 값 1로 활성화되어 있고, 각 특성의 벡터가 \(\mathbf{v}_u = (0.5, 1.0)\), \(\mathbf{v}_i = (1.0, 0.5)\), \(\mathbf{v}_d = (-0.2, 0.4)\)라 하겠습니다. 쌍마다 내적을 구하면 \(\mathbf{v}_u \cdot \mathbf{v}_i = 1.0\), \(\mathbf{v}_u \cdot \mathbf{v}_d = 0.3\), \(\mathbf{v}_i \cdot \mathbf{v}_d = 0.0\)이므로 상호작용 항은 1.3입니다.
변형한 식으로 계산하면, 차원별 합은 \((1.3, 1.9)\)이고 그 제곱은 \((1.69, 3.61)\), 차원별 제곱의 합은 \((1.29, 1.41)\)입니다. 따라서 \(\frac{1}{2} \left[ (1.69 - 1.29) + (3.61 - 1.41) \right] = 1.3\)으로 같은 값이 나옵니다. 여기에 \(w_0 = -1.0\)과 각 특성의 가중치 \(0.3, 0.2, -0.1\)을 더하면 0.7이 되고, 시그모이드 함수를 적용한 예측 클릭률은 \(\sigma(0.7) \approx 0.668\)입니다.
- Tip : FM은 모든 쌍을 같은 벡터로 계산하지만, 특성이 어떤 종류의 특성과 짝을 이루는지에 따라 다른 벡터를 쓰는
FFM(Field-aware Factorization Machine)도 있습니다. 표현력은 높아지지만 매개변수가 필드 수만큼 늘어납니다.
NCF(Neural Collaborative Filtering)
2017년 허샹난(Xiangnan He) 연구진은 행렬 분해의 내적을 신경망으로 바꾼 NCF(Neural Collaborative Filtering)를 발표했습니다. 사용자 임베딩과 아이템 임베딩을 이어 붙여 완전 연결층을 여러 층 쌓은 다층 퍼셉트론(Multi-Layer Perceptron, MLP)에 넣고, 출력으로 상호작용 확률을 계산합니다. 내적은 고정된 연산이지만 다층 퍼셉트론은 두 벡터의 임의의 함수를 학습할 수 있으므로, 더 복잡한 관계를 표현할 수 있다는 것이 동기였습니다.
NCF 논문은 원소별 곱으로 계산하는 일반화된 행렬 분해(GMF)와 다층 퍼셉트론을 함께 쓰는 NeuMF를 제안했고, 행렬 분해보다 좋은 성능을 보고해 큰 주목을 받았습니다.
그러나 2020년 스테펜 렌들 연구진은 같은 실험을 다시 수행해, 하이퍼파라미터를 제대로 조정한 행렬 분해의 내적이 NCF보다 더 좋은 성능을 낸다는 결과를 발표했습니다. 다층 퍼셉트론은 이론적으로 어떤 함수든 근사할 수 있지만, 내적처럼 단순한 곱셈 관계를 데이터로부터 학습하는 것은 오히려 어렵다는 것이 그 이유였습니다. 또한 내적으로 점수를 계산하면 다음 강좌에서 다룰 근사 최근접 이웃 검색으로 빠르게 후보를 찾을 수 있지만, 다층 퍼셉트론으로 점수를 계산하면 모든 아이템을 하나씩 넣어 봐야 합니다.
- Tip : 이 사례는 암시적 피드백에서 언급한 재현 연구들의 대표적인 예입니다. 신경망이 표현력이 더 높다고 해서 더 좋은 추천을 만드는 것은 아니며, 비교 대상 모델을 똑같이 공들여 조정했는지를 확인해야 합니다.
Wide & Deep
2016년 구글은 구글 플레이 스토어의 앱 추천에 사용한 Wide & Deep을 발표했습니다. 이 모델은 추천에 필요한 두 가지 능력을 구분했습니다.
암기(Memorization): 학습 데이터에 자주 함께 등장한 특성의 조합을 직접 기억하는 능력입니다. “넷플릭스를 설치한 사용자는 훌루도 설치한다”처럼 구체적이고 정확한 규칙을 학습합니다.일반화(Generalization): 처음 보는 조합에 대해서도 비슷한 특성으로부터 추론하는 능력입니다. 동영상 스트리밍 앱을 설치한 사용자에게 다른 동영상 앱을 추천하는 것처럼, 특성 사이의 유사성을 활용합니다.
와이드(Wide) 부분은 원본 특성과 사람이 지정한 교차 특성(Cross-product Feature)을 입력으로 받는 선형 모델로, 암기를 담당합니다. “설치한 앱 = 넷플릭스 그리고 노출된 앱 = 훌루”처럼 두 특성이 동시에 성립할 때만 1이 되는 특성을 만들어 넣습니다. 딥(Deep) 부분은 범주형 특성을 임베딩한 다음 다층 퍼셉트론에 넣는 신경망으로, 일반화를 담당합니다. 두 부분의 출력을 더한 다음 시그모이드 함수를 적용해 확률을 계산하고, 두 부분을 함께 학습합니다.
딥 부분만 사용하면 임베딩이 지나치게 일반화되어, 상호작용이 적은 사용자에게 관련 없는 아이템을 추천하는 경우가 생깁니다. 와이드 부분이 자주 관측된 구체적인 규칙을 보완해 이 문제를 줄입니다. 구글은 온라인 실험에서 와이드 모델 대비 앱 설치율이 3.9% 높아졌다고 보고했습니다.
DeepFM
Wide & Deep의 와이드 부분은 어떤 특성을 교차할지 사람이 직접 설계해야 합니다. 2017년 화웨이 연구진이 발표한 DeepFM은 와이드 부분을 팩토라이제이션 머신으로 바꾸어 이 문제를 해결했습니다.
FM 부분은 모든 특성 쌍의 상호작용을 내적으로 자동 계산하므로, 교차 특성을 직접 만들 필요가 없습니다. 딥 부분은 다층 퍼셉트론으로 더 높은 차수의 상호작용을 학습합니다. 두 부분은 같은 임베딩을 공유하므로, 낮은 차수와 높은 차수의 상호작용이 하나의 임베딩에 함께 반영됩니다.
| 모델 | 낮은 차수 상호작용 | 높은 차수 상호작용 | 특성 설계 |
|---|---|---|---|
| FM | 모든 쌍의 내적 | 없음 | 불필요 |
| Wide & Deep | 사람이 지정한 교차 특성 | 다층 퍼셉트론 | 필요 |
| DeepFM | 모든 쌍의 내적(FM) | 다층 퍼셉트론 | 불필요 |
Deep & Cross Network
다층 퍼셉트론은 높은 차수의 상호작용을 간접적으로 학습합니다. 활성화 함수를 거친 은닉층들이 특성의 곱을 근사하도록 학습되지만, 앞에서 본 것처럼 곱셈 관계를 학습하는 것은 생각보다 비효율적입니다.
2017년 구글과 스탠퍼드 대학교 연구진이 발표한 Deep & Cross Network(DCN)는 특성의 교차를 명시적으로 계산하는 교차 층(Cross Layer)을 사용합니다. 모든 특성의 임베딩을 이어 붙인 벡터를 \(\mathbf{x}_0\)라 하면, \(l\)번째 교차 층은 다음과 같이 계산합니다.
\(\mathbf{x}_0 \mathbf{x}_l^{\top}\)는 원래 입력과 현재 층의 모든 원소 쌍의 곱이므로, 교차 층을 하나 지날 때마다 상호작용의 차수가 하나씩 올라갑니다. 층을 \(L\)개 쌓으면 \(L+1\)차까지의 상호작용을 표현합니다. 마지막의 \(\mathbf{x}_l\)은 합성곱 신경망(Convolutional Neural Network)에서 다룬 잔차 연결처럼 입력을 그대로 더해, 층이 깊어져도 학습이 안정적이도록 합니다.
교차 층은 매개변수가 입력 차원에 비례하는 만큼만 필요하므로 가볍습니다. DCN은 교차 층과 다층 퍼셉트론을 함께 사용하며, 2020년에는 가중치 벡터를 행렬로 확장해 표현력을 높인 DCN-V2가 발표되어 구글의 여러 랭킹 시스템에 사용되었습니다.
사용자 행동 이력의 활용
사용자를 나타내는 가장 강력한 정보는 최근에 상호작용한 아이템들입니다. 가장 간단한 방법은 최근에 본 아이템들의 임베딩을 평균해 하나의 사용자 벡터로 만드는 것이지만, 이 방식은 콘텐츠 기반 필터링의 평균 프로필처럼 다양한 관심사가 하나로 뭉개진다는 문제가 있습니다.
2018년 알리바바가 발표한 DIN(Deep Interest Network)은 이 문제를 어텐션(Attention)으로 해결했습니다. 사용자가 최근 본 아이템이 운동화, 커피 원두, 노트북이라면, 운동화 광고의 클릭률을 예측할 때는 운동화 이력에, 노트북 가방 광고를 예측할 때는 노트북 이력에 큰 가중치를 줍니다. 즉, 사용자 벡터를 고정된 하나의 값으로 두지 않고 예측 대상 아이템에 따라 다르게 만듭니다.
이처럼 행동 이력의 순서와 내용을 모델링하는 방향은 이후 행동 이력 전체를 트랜스포머로 처리하는 순차 추천 모델로 발전했습니다.
신경망 기반 추천 정리
| 모델 | 발표 | 핵심 아이디어 | 상호작용 학습 방식 |
|---|---|---|---|
| FM | 2010 | 모든 특성 쌍의 가중치를 내적으로 표현 | 2차, 명시적 |
| Wide & Deep | 2016 | 암기(선형)와 일반화(신경망)의 결합 | 교차 특성 + 다층 퍼셉트론 |
| NCF | 2017 | 내적을 다층 퍼셉트론으로 대체 | 다층 퍼셉트론 |
| DeepFM | 2017 | 와이드 부분을 FM으로 대체, 임베딩 공유 | FM + 다층 퍼셉트론 |
| DCN | 2017 | 교차 층으로 고차 상호작용을 명시적으로 계산 | 교차 층 + 다층 퍼셉트론 |
| DIN | 2018 | 대상 아이템에 따라 행동 이력에 어텐션 | 어텐션 + 다층 퍼셉트론 |
신경망 기반 추천 모델은 사용자와 아이템을 넘어 모든 정보를 특성으로 바꾸고, 특성 사이의 상호작용을 학습하는 문제로 추천을 확장했습니다. 모델들의 차이는 주로 상호작용을 어떻게 계산하느냐에 있으며, 내적처럼 명시적인 곱셈 구조와 다층 퍼셉트론의 유연함을 함께 사용하는 방향으로 발전했습니다.
이런 모델은 사용자와 아이템의 특성을 함께 넣어 점수를 계산하므로 정밀하지만, 아이템마다 모델을 한 번씩 계산해야 합니다. 수백만 개의 아이템 전체에 적용할 수는 없으므로 랭킹 단계에서 수백 개의 후보에만 사용합니다. 다음 강좌에서는 그 후보를 수백만 개의 아이템에서 빠르게 골라내는 투 타워 모델과 후보 생성 방법을 다룹니다.
- Writer by : 윤대희
댓글 남기기