GPT는 왜 한 단어씩 말할까? (Next Token Prediction)

ChatGPT나 제미나이(Gemini) 같은 대규모 언어 모델(LLM)에게 질문을 던져본 적이 있으신가요? 답변이 생성되는 화면을 가만히 보면, 완성된 문장이 한 번에 툭 튀어나오는 것이 아니라 마치 사람이 타자를 치듯 한 단어씩 순차적으로 화면에 찍히는 것을 볼 수 있습니다.

왜 이런 방식으로 대답하는 걸까요? 사실 이것이 현재 AI 언어 모델이 작동하는 가장 근본적인 원리입니다.

가장 큰 이유는 애초에 LLM이 "다음 단어를 맞히는 방식"으로 학습을 했기 때문입니다.

AI는 문장 전체 구조를 미리 머릿속에 다 짜놓고 답을 하는 것이 아닙니다. LLM은 "지금까지 입력된 단어들의 흐름을 보고, 바로 다음에 올 단어 한 개를 그럴듯하게 확률적으로 추정하는 것"에 특화되어 있습니다. 이런 작업을 수조 번 넘게 반복해서 학습을 했거든요.

예를 들어 볼까요? 우리가 "사과에 가장 많이 들어 있는 비타민은" 이라고 질문을 던졌습니다. 그러면 AI는 전체 문장을 미리 생각하지 않고 오직 다음 단어 만을 예측합니다. 한 단어가 새롭게 선택되면, 그 단어를 기존 문장의 맨 끝에 덧붙입니다. 그리고 덧붙여진 전체 문장을 다시 입력해서 그 다음 단어 하나를 뱉어내는 것이죠. 

• 사과에 가장 많이 들어 있는 비타민은? ▶ 사과에는 (예측)

• 사과에 가장 많이 들어 있는 비타민은? 사과에는 ▶ 비타민 (예측)

• 사과에 가장 많이 들어 있는 비타민은? 사과에는 비타민 ▶ C가 (예측)

...

• 사과에 가장 많이 들어 있는 비타민은? 사과에는 비타민 C가 8~14% 정도로 가장 많이 들어 ▶ 있습니다. (예측)

그러면 결국 최종 답변이 완성되게 됩니다.

• 사과에 가장 많이 들어 있는 비타민은? 사과에는 비타민 C가 8~14% 정도로 가장 많이 들어 있습니다.

이번 장에서는 이 과정을 좀더 심도 있게 살펴 보도록 하겠습니다.