3장까지 설명한 GPT의 원리 기억하시죠?

사용자가 입력을 하면 GPT는 그 입력을 바탕으로 다음에 올 단어를 하나씩 예측합니다. 그 예측을 반복해서 결국 질문에 맞는 답변 문장이 만들어집니다.

즉 GPT는 기본적으로 "하나의 입력을 받고, 거기에 대해 하나의 답을 만드는" 기능을 합니다.

대화 중에 이전 대화 내용을 기억하고 학습하면서 대화를 이어 나가는 것은 인간의 두뇌에게는 당연한 일이지만 GPT는 일단 한번 학습이 끝나서 모델이 완성되면 더이상 새로운 기억을 하는 기능은 없습니다.

그런데 ChatGPT와 대화를 하다보면 사람과 채팅하는 것처럼 계속 이어지는 대화가 연결되는 느낌을 받죠?

이전에 얘기한 조건을 유지하고, 내 취향을 반영하고, 심지어 이전에 잘못 대답한 내용을 기억해서 수정을 해주기도 합니다. 그래서 우리는 ChatGPT가 사람처럼 대화를 기억하고 대화하면서 학습 하는 것처럼 느낍니다.

어떻게 그게 가능한지 그 비밀에 대해서 한번 알아보도록 하겠습니다

GPT와 ChatGPT의 차이

GPT는 텍스트를 입력받고 다음 단어를 예측해 답변을 만드는 언어 모델일 뿐 대화 중에 스스로 학습하거나 내부 기억을 업데이트하는 기능은 없습니다.

ChatGPT는 GPT를 대화형으로 쓸 수 있게 만든 서비스입니다. 대화 화면, 시스템 지시문, 안전 정책, 사용자 설정등의 기능이 있고 거기에 추가로 이전 대화 기록을 관리하는 구조가 함께 붙어 있습니다.

사용자가 새 질문을 입력하면, ChatGPT는 그 질문만 GPT에게 보내지 않고 매번 이전 대화와 현재 질문을 함께 묶어 GPT에게 다시 전달합니다.

사람의 기억과 GPT의 기억은 다르다

사람은 대화하면서 경험을 머릿속 기억에 반영합니다. 반면 GPT는 대화 중에 자신의 내부 지식을 바꾸지 못합니다.

차이를 간단히 정리하면 다음과 같습니다.

컨텍스트 윈도우: AI의 단기 기억 공간

이때 한 번에 GPT가 읽을 수 있는 입력의 최대 범위를 컨텍스트 윈도우(Context Window) 라고 부릅니다.

컨텍스트 윈도우는 쉽게 말해 AI의 단기 기억 공간입니다. 여기에 시스템 지시문, 이전 대화, 문서, 도구 실행 결과, 지금 질문이 함께 들어갑니다.

문제는 이 공간이 무한하지 않다는 점입니다. 대화가 길어지면 이전 내용을 전부 그대로 넣을 수 없습니다. 그러면 오래된 내용은 일부 제외되거나, 요약되거나, 중요한 부분만 남게 됩니다.

그래서 ChatGPT와 길게 대화하다 보면 앞부분 내용을 놓치거나 예전에 정한 조건을 잊은 것처럼 보일 수 있습니다. 실제로는 정보가 현재 컨텍스트 안에 충분히 들어오지 못한 것입니다.

최근 모델들은 컨텍스트 윈도우가 크게 늘어나 긴 문서나 긴 대화도 더 잘 다룰 수 있게 되었습니다. 하지만 컨텍스트가 길어진다고 해서 모든 문제가 자동으로 해결되는 것은 아닙니다.

긴 문맥은 항상 좋은가?

컨텍스트 윈도우가 커지면 더 많은 정보를 한 번에 넣을 수 있습니다. 하지만 컨텍스트가 너무 길어지면 중요한 조건이 긴 문맥 속에 묻히거나 핵심 정보를 잘 못찾게 되거나 논리가 무너지거나 이런 현상이 생깁니다.

긴 컨텍스트에서 정보 손실이나 능력저하등에 대해서는 여러가지 연구가 있고 "Lost In the middle", "Context Dilution", "Context Rot" 이런 용어들을 보시면 그 얘기구나 라고 생각하시면 됩니다.

그래서 긴 대화에서는 핵심 결정 사항을 중간중간 요약하고, 현재 목표와 성공 기준을 다시 정리해 주는 것이 도움이 됩니다.

이처럼 AI가 어떤 정보를 보게 할지, 어떤 정보는 압축하고, 어떤 정보는 다시 검색해서 불러올지를 설계하는 기술을 컨텍스트 엔지니어링(Context Engineering) 이라고 합니다. 이 내용은 뒤에서 별도로 따로 다루겠습니다.

한 줄 정리

ChatGPT의 기억은 사람이 경험을 저장하는 기억과 다릅니다. ChatGPT는 대화 중에 스스로 학습하는 것이 아니라, 이전 대화를 컨텍스트로 다시 입력받아 읽기 때문에 기억하는 것처럼 보입니다.