앞에서 임베딩 공간은 AI의 지능 지도라고 설명했죠. 이번에는 이 지능 지도와 관련한 여러가지 이야기를 해보겠습니다.

임베딩 공간에 관련된 여러가지 이야기

환각(Hallucination)

AI가 엉뚱한 대답을 하는 '환각 현상'이라는게 있습니다. 이 원인은 여러가지가 있지만 그중 하나는 이 임베딩 공간의 특성 때문에 생기는 것입니다.

예를 들어 "이순신 장군의 업적"을 물었는데 갑자기 "행주대첩에서의 승리"를 답하는 식인데요, 임베딩 공간에서 [조선시대], [장군], [임진왜란] 같은 키워드들에 연관된 데이터가 너무 많고 서로 너무 가깝게 모여 있다면, 정보를 꺼내오는 과정에서 옆 동네에 있는 엉뚱한 정보를 슬쩍 가져와 버리는 겁니다. 이런게 근접오류가 되겠죠.

다른 예로 "조선시대 중기인 1500년대에 활동한 천재 여성 수학자 이름을 알려줘" 이런 질문을 한다면 "신사임당"이라고 대답하는 경우인데요.. [조선시대], [1500년대], [여성], [수학자] 라는 좌표가 만나는 지점은 실제 역사 데이터에 존재하지 않기 때문에 그 지점에서 가장 가까운 [조선시대], [여성], [천재] 좌표에 있는 '신사임당'이나 '허난설헌'을 끌어옵니다. (앞에 설명했듯이 [수학자]와 [천재] 는 상대적으로 가까운 위치에 있겠죠.)

또다른 예로 '추석'을 물었는데 답변으로 "칠면조를 먹습니다"라고 하는 경우입니다. 이것 역시 [명절], [가을], [수확] 같은 공통 속성이 너무 강해서 지능 지도의 "추석"과 "Thanksgiving" 두 좌표가 거의 하나로 붙어버렸기 때문에 발생하는 현상입니다.

요즘은 많이 개선돼서 잘 나타나지 않는 현상이지만 초기 LLM은 이런 경우가 아주 많았습니다.

다국어 (Multilingual)

LLM을 쓰다보면 한국어나 영어나 일본어등 다른언어도 가리지 않고 척척 알아듣는 '다국어 능력자' 처럼 보이는 것을 경험하셨을 겁니다. 그 비밀도 바로 이 지능 지도에 있습니다.

과거 번역프로그램은 "사과 = Apple"이라는 단어 대응 표를 외우는 방식이었지만, 현대 AI는 언어라는 '껍데기'를 벗겨내고 '의미(Semantic)' 그 자체를 좌표 시스템에 배치합니다.

예를 들어 사과의 [빨갛다, 과일, 아삭하다] 의 벡터가 특정 좌표를 가리킨다면 Apple의 [Red, Fruit, Crunchy] 벡터도 동일한 좌표를 가리킵니다.

그래서 "사과 = Apple"을 외우는게 아니고 "사과"라는 개념을 설명하는 벡터와 Apple이라는 개념을 설명하는 벡터가 동일한 좌표를 가리키게 되는거죠.

우리가 빨갛고 동그란 과일을 생각한 다음 한국어로 "사과"를 얘기하고 영어로 "Apple"을 얘기하는 것처럼 AI도 빨갛고 동그란 과일이라는 개념을 먼저 벡터로 이해하고 그것을 한국어와 영어로 표현하는 겁니다.

또 한가지 재미있는 예는 .. 우리가 사과 벡터를 만들기 위해서

빨갛다 + 달다 + 과일 + 둥그렇다 + 아삭하다 ≈ 사과

이런 연산을 할 수 있을 텐데요..

Red + Sweet + 과일 + 둥그렇다 + 아삭하다

이렇게 한국어 영어를 섞어서 연산해도 결과 벡터는 Apple 혹은 사과를 가리키게 됩니다. 앞에서 설명했듯이 [빨갛다]는 벡터도 결국 [Red]라는 벡터와 유사하거나 동일하기 때문이죠.