임베딩 공간 (Embedding Space)

자 이제 가장 중요한 개념이 나오는데요, AI는 어떤 사물이나 의미, 개념등을 수백~수천차원의 벡터로 인지합니다. 이렇게 의미에 숫자를 할당해서 벡터로 만드는 과정을 "임베딩"이라고 합니다. 예를 들면 앞의 예에서 "사과"에 실제 숫자를 할당해서 [9, 7, 9]라는 벡터로 만들었죠. 이 과정이 임베딩입니다. 그리고 수십만개의 "의미(Semantic)"을 벡터화해서 저장한 공간을 임베딩 공간이라고 부르죠.

이 임베딩 공간은 말하자면 AI의 사전입니다. AI가 알고 있는 것은 숫자 뿐인데 이것을 사람이 이해 할 수 있는 의미로 바꾸는 작업, 혹은 사람이 입력한 언어를 AI가 이해하는 숫자로 바꾸는 작업이 여기에서 일어납니다.

의미(Semantic)

임베딩 공간의 가장 큰 특징중 하나는 비슷한 개념은 비슷한 위치에 존재하도록 만든다는 것입니다.

예를 들어 "사탕"이라는 단어가 있다면 그 근처에는 "초콜릿", "젤리", "쿠키" 같은 단어가 위치해야 합니다. (여기에서 "근처"라고 표현한것은 코사인 유사도 같은 방법으로 방향이 비슷한 것을 의미합니다. 유클리드 거리 방식으로 표현한다면 자주 인용되는 단어와 덜 인용되는 단어는 크기가 다르기 때문에 멀리 떨어지게 됩니다.)

관계(Relations)

잘만들어진 임베딩 공간은 의미의 관계가 명확하게 표현 됩니다.

예를 들어 King, Queen, Man, Woman 이라는 의미의 백터가 있다고 가정해 봅시다. King벡터에서 Man벡터를 빼고 그다음 Woman벡터를 더하면 어떤 결과 벡터가 나오겠죠. 임베딩 공간에서 그 결과 벡터가 가리키는 곳(혹은 그 근처)에 Queen 벡터가 있게 됩니다.

즉 이런 연산이 가능해집니다.

king - Man + Woman ≈ Queen

다른 사례로 이런 예도 가능해지죠.

Paris - France + Italy ≈ Rome
Sushi - Japan + Korea ≈ Kimchi

명사뿐만 아니라 문법 연산도 가능합니다.

Walking - Walk + Swim ≈ Swimming
Apples - Apple + Pear ≈ Pears

브랜드도 가능합니다.

Nike - USA + Germany ≈ Adidas
iPhone - Apple + Samsung ≈ Galaxy
Windows - Microsoft + Google ≈ Android

한국어로도 되죠.

서울 - 한국 + 일본 ≈ 도쿄
아빠 - 남자 + 여자 ≈ 엄마

왠지 사람이 의미를 이해하는 방식과 비슷하지 않나요?

클러스터

임베딩 모델은 학습 과정에서 의미가 비슷한 데이터들을 공간상의 가까운 좌표에 배치 한다고 말씀드렸는데요, 그래서 특정 주제나 특징을 공유하는 데이터가 많아질수록 그 지점의 데이터 밀도가 높아지며 하나의 '덩어리(클러스터)'를 형성합니다.

그래서 결과적으로 예를 들어 '사과', '배', '복숭아'는 하나의 과일 클러스터를 이루고, 반면 '망치', '드라이버', '톱'은 멀리 떨어진 공구 클러스터를 이룹니다.

또한 클러스터는 계층적으로 생성될 수 있습니다. '동물' 클러스터 내부에 '포유류' 클러스터가 있고, 그 안에 다시 '고양이과' 클러스터가 모여 있는 식입니다.

재미있는 것은 이런 동물-포유류-고양이과 계층 구조가 누군가 지정해서 만들어지는게 아니고 수많은 개념을 학습시키다 보면 자연스럽게 생긴다는 점입니다.

지능의 지도

그래서 임베딩 공간은 단순히 데이터를 쌓아둔 창고가 아닙니다. 단어들이 가진 '의미'를 숫자로 바꾸고, 다른 데이터들과 어떤 '관계'를 맺고 있는지 좌표 위에 그려놓은 '지능의 지도'라고 볼 수 있습니다.

LLM을 만들 때는 수없이 많은 문장들을 학습해서 단어들의 위치(벡터)를 끊임없이 조정하는 과정을 거치면서 이런 의미와 관계가 유지되는 임베딩 공간을 완성하게 됩니다.