"유튜브 어떻게 내가 좋아할 만한 콘텐츠를 추천하는가?"

AI 얘기를 한다더니 갑자기 왜 추천 얘기를 꺼내는 걸까요? 추천이 재미있는 주제이기도 하지만 AI가 언어의 의미(Semantic)를 이해하는 방식이 추천 알고리즘 방식과 그 뿌리가 같기 때문입니다.

추천의 마법

우리가 유튜브나 넷플릭스를 볼 때 계속해서 내가 좋아할 만한 영상이 뜹니다. 네이버 쇼핑이나 쿠팡에서는 내가 관심을 가질 만한 상품을 보여 줍니다. 카카오톡에서 나오는 광고도 마찬가지로 내가 클릭할 만한 광고를 골라서 보여 줍니다.

우리는 이렇게 추천 알고리즘의 세계 속에서 살고 있습니다. 그렇다면 이 추천은 도대체 어떤 방식으로 동작할까요?

Target사의 이야기

데이터 마케팅에서 자주 인용되는 오래된 사례가 하나 있습니다. (2012년 NY Times 기사)
기사 원문은 여기입니다.
https://www.nytimes.com/2012/02/19/magazine/shopping-habits.html

미니애폴리스 인근에 살던 한 남성이 타겟(Target) 매장에 거세게 항의하는 일이 벌어졌습니다.

자신의 고등학생 딸에게 아기 옷, 요람 등 영아 용품 쿠폰이 가득 담긴 DM(우편 광고물)이 계속 배달된 것입니다. 남성은 매장 매니저에게 "아직 학교에 다니는 딸에게 임신을 장려하는 거냐"며 화를 냈습니다.

하지만 며칠 후, 매장 매니저가 사과 전화를 걸었을 때 아버지는 오히려 사과했습니다. 알고 보니 딸은 실제로 임신 중이었고, 가족들도 모르는 사실을 타겟의 알고리즘이 구매 패턴 분석을 통해 먼저 알아차린 것이었습니다.

타깃(Target)사의 데이터 분석가는 고객의 구매 이력을 분석해 임신 예측 점수를 부여하는 시스템을 만들었습니다.
예를 들어 갑자기 향기 없는 로션을 사고, 마그네슘이나 아연 영양제를 대량 구매하는 등의 패턴을 보이면 임신했을 가능성이 높다고 보는 거죠. 이 데이터를 이용해서, 출산을 앞둔 여성에게 각 시기별로 필요한 출산·육아 용품 쿠폰을 보내는 마케팅을 한거고 가족도 모르는 사실을 알아낸 겁니다.

이처럼 특정 행동 데이터들을 조합해 사용자의 상태나 취향을 추론하는 것이 추천의 기본 원리입니다.

요즘은 훨씬 많은 고객 행동 데이터를 이용해서 추천을 하기 때문에 "20대 남자는 액션 영화를 좋아할 가능성이 높다" 처럼 사람이 내용을 인지해서 설계하는 경우는 적고 수십개의 행동 변수를 넣고 피드백을 학습해가며 통계적으로 추천을 수행합니다. (이런 과정에서 머신러닝이 쓰입니다. 머신러닝을 여러 레이어를 가지게 만들면 딥러닝이라고 부르고 이게 요즘 LLM에 활용되고 있는 시스템의 기본이 되죠.)

이제 실제 추천 시스템이 어떻게 돌아가는지 알고리즘 중 하나를 예로 들어서 설명해 보겠습니다.

취향의 지도: 협업 필터링(CF)

추천 알고리즘은 여러가지가 있지만 여기서는 그중 하나인 CF(Collaborative Filtering, 협업 필터링) 이라고 불리는 것을 설명할건데요.. 아이디어는 아주 단순합니다.

"나와 취향이 비슷한 사람들은 선택도 비슷할 것이다."

그렇다면 질문은 하나입니다.
"나와 취향이 비슷한 사람을 어떻게 찾을까?"

예를 들어 넷플릭스에서 영화 추천 기능을 만든다고 가정해 봅시다.

• 내가 최근에 "기생충"과 "오징어 게임"을 재미있게 봤다면,

• 수많은 회원들 가운데, 이 두 작품을 나처럼 재미있게 본 사람들을 먼저 찾습니다.

• 그리고 그 사람들이 "더 글로리"를 많이 좋아했다면,

• 넷플릭스는 나에게도 "더 글로리"를 추천합니다.

실제로는 이 취향을 숫자로 만들고 "비슷하다"를 수학적으로 계산합니다. 예를 들어 아래와 같이 사용자별 콘텐츠 추천 점수가 있다고 해 봅시다

여기서 우리는 로제에게 "더 글로리"를 추천하는 게 맞을지 알고 싶은거죠.

이 로직을 설명하기 전에 먼저 두가지 개념을 이해해야 합니다. "벡터"와 "코사인 유사도" 입니다.

"벡터와 코사인이라니.. 일반인 대상으로 쉽게 설명한다더니 벌써 머리가 아파지는것 같아"

라고 하시는 분도 계시겠지만 사실 의외로 간단한 개념입니다.

벡터(Vector)

벡터가 뭐죠? 원래 벡터는 크기와 방향을 나타내는 방법입니다. 야구장에서 타자가 공을 앞으로 쳤다고 생각해 봅시다. 그럼 공이 발사되는 정면 "방향"이있고 공이 출발하는 스피드("크기")가 생기는데 이게 공의 운동 벡터가 됩니다. 자 그런데 바람이 왼쪽에서 불어요. 그러면 어떻게 되나요? 공이 비스듬하게 오른쪽으로 가게 되죠. 왼쪽에서 바람이 불어오면 왼쪽에서 오른쪽이라는 "방향"과 바람의 속도라는 "크기"를 가지는 바람의 운동 벡터가 됩니다. 그런데 벡터끼리는 더하기가 된다는 특징이 있지요. 그래서 두 벡터를 더하면 비스듬하게 오른쪽으로 가는 공의 운동 벡터가 됩니다.

바람의 운동 벡터 크기가 더 크면 (바람이 더 세게 불면) 공이 더 많이 오른쪽으로 가고
바람의 운동 벡터 방향이 달라지면 예를 들어 완전히 90도로 불 때 보다 비스듬히 뒤에서 불때 공이 덜 오른쪽으로가고 더 많이 나가고 이런것들이 상식적으로 다 알고 있는 내용이지만 이게 모두 모두 벡터의 합으로 다 계산이 됩니다.

코사인 유사도(Cosine Similarity)

이것도 사실 간단한 개념입니다. 앞에서 설명한 벡터들 사이의 각도가 얼마나 비슷한지 보는 방법일 뿐입니다. 공을 쳤는데 바람이 뒤쪽에서 분다 그러면 공의 벡터와 바람의 벡터가 코사인 유사도가 높은거고, 바람이 옆에서 불거나 반대쪽에서 불면 유사도가 낮은 겁니다.

취향 예측

자 이제 실제로 취향을 어떻게 분석하는지 확인해 봅시다. 위에 예로든 네 사람의 취향을 2차원 평면에 벡터로 그려 보면 아래 그림 처럼 됩니다.

그림에서 바로 알 수 있듯이

• 리사, 제니, 로제의 벡터는 서로 비슷한 방향을 가리키고

• 지수의 벡터는 다른 방향을 가리키게 됩니다.

그렇다면 리사와 제니가 재미있게 본 "더 글로리"를
로제에게도 추천하는 것이 자연스럽다는 결론이 나옵니다.

그러면 왜 좌표 사이의 '거리'가 아니라, '각도'를 볼까요? 그것은 사람마다 점수를 주는 스타일이 많이 다를 수 있기 때문입니다.

• 어떤 사람은 웬만하면 4점, 5점을 주는 "후한 스타일"

• 어떤 사람은 괜찮아도 2점, 3점밖에 안 주는 "짠돌이 스타일"

이 두 사람의 점수를 숫자로만 놓고 보면 거리가 꽤 멀어 보입니다.
하지만 어떤 작품을 상대적으로 더 좋아하는지, 덜 좋아하는지는 비슷할 수 있습니다.
그래서 "거리" 대신 "각도"를 보면,
점수의 절대 크기 차이는 무시하고 취향의 방향(성향)만 비교할 수 있습니다.

AI에서는..

앞에서 "추천 알고리즘"이 AI와 연관이 많다고 말씀드렸는데, AI가 답을 찾을 때도 이렇게 데이터를 벡터로 저장하고,
코사인 유사도 같은 알고리즘으로 벡터들 사이의 관계를 계산해서 의미가 비슷한 것들을 찾아냅니다.

다음 글에서는 이런 벡터를 바탕으로 AI가 "의미(semantic)를 어떻게 이해하는지",
그리고 그 과정에서 쓰이는 임베딩 공간(embedding space) 이 무엇인지 이야기 해보겠습니다.