ChatGPT에 어려운 질문을 했을 때, 답변이 바로 나오지 않고 화면에 “Thinking...”, “생각 중” 같은 표시가 뜨는 것을 본 적이 있을 겁니다.

원래 GPT는 입력을 받으면 첫 번째 단어부터 바로 만들어내는 모델입니다. 그런데 요즘의 모델은 왜 답을 바로 말하지 않고 잠시 시간을 쓰는 걸까요?

그건 요즘 모델들이 바로 답을 주는 대신 추론(Reasoning) 과정을 거처 답을 주는 추론 모델(Reasoning Model)들이기 때문입니다.

이번에는 이 추론 모델에 대해서 알아보겠습니다.

추론 모델의 등장

앞에서 설명했지만 GPT의 기본 기능은 입력된 문장 다음에 올 단어를 예측하는 것입니다. 이 과정을 반복해서 문장을 만들어내죠.

질문 입력

  ↓

다음 단어 예측

  ↓

또 다음 단어 예측

  ↓

답변 문장 완성

초기의 GPT는 이런 기능을 이용해서 문제를 받으면 답변의 첫번째 단어부터 곧바로 생성했습니다. 간단한 질문에는 이 방식으로도 인공 신경망에 저장된 지능을 이용해서 답을 찾을 수 있었습니다. 이전 글에서도 언급했지만 벡터의 차원을 늘리고 파리미터 갯수를 늘리면 더 답을 잘 찾아내는 경향이 생긴다는 것도 알아냈습니다.

하지만 논리적 사고가 필요한 복잡한 문제, 특히 수학 문제는 그렇게 해도 제대로 풀지 못하는 경우가 많았죠.

그래서 AI 연구자들은 고민을 하기 시작했습니다. "그동안 사람들은 수학문제를 어떻게 풀어왔지?"

예를 들어 이런 문제를 생각해 보죠.

사과 3개가 6,000원이고 바나나 2개가 2,000원입니다.
사과 5개와 바나나 3개의 가격은 모두 얼마일까요?

여러분은 이 문제를 보면 어떻게 푸나요? 딱 보는순간 13,000원 이라고 나오나요? 물론 그렇게 바로 푸는 사람들(수학천재?)도 간혹 있지요. 
하지만 보통 사람은 "사과는 3개에 6,000원이면 1개에 2,000원이구나. 바나나는 한개에 1,000원이구나, 그러면 ..." 이런식으로 단계적으로 생각해서 풀게 니다.

AI연구자들은 인간의 이런 문제풀이 방식을 모방해서 추론 모델이라는 것을 고안했습니다. 
즉 AI가 문제를 풀이하는 방법을 단계적으로 만들고 각 단계별로 답을 내는 과정을 거쳐 최종 답을 내도록 한겁니다.

 
재미있는 것은  이것을 위해 새로운 모델을 만든게 아니고 기존의 문장을 생성하는 GPT를 그대로 활용했다는 점입니다.
GPT의 문장 생성 기능을 이용해서 답을 찾는 순서를 문장으로 만들고, 그 순서를 따라가며 최종 답을 만드는 방식으로 구현한거죠.

그래서 위의 사과 바나나 문제를 추론 모델에 입력하면 다음과 같은 텍스트를 생성 해냅니다.

1. 사과 한 개 가격을 구한다.

   6,000원 ÷ 3개 = 2,000원

2. 바나나 한 개 가격을 구한다.

   2,000원 ÷ 2개 = 1,000원

3. 사과 한개 가격에 5를 곱해 사과 5개의 가격을 구한다.

   2,000원 × 5개 = 10,000원

4. 바나나 한개 가격에 3을 곱해 바나나 3개의 가격을 구한다.

   1,000원 × 3개 = 3,000원

5. 두 가격을 더한다.

   10,000원 + 3,000원 = 13,000원

그리고 최종 답으로 13,000원을 출력합니다.

정리하면 추론모델은 별도의 수학 계산이나 논리 연산을 위한 모델로 만든게 아니고 기존의 문장 생성기 GPT를 그대로 활용하되 중간에 추론 단계를 거치도록 개선해서 만들었습니다. 
거기에 문제 풀이 순서 문장도 잘 생성하도록 관련 내용을 추가적으로 학습 시킨 거죠.

추론강도와 추론토큰

추론 강도(Reasoning Effort / Thinking Budget)

앞에서 추론 강도 라는 용어가 나왔는데요, 추론 강도는 모델이 최종 답변을 만들기 전에 추론에 얼마나 많은 계산량과 시간을 사용할지를 나타내는 일반적인 표현입니다. 앞에서 추론과정은 중간 문제 풀이 과정을 문장으로 생성하는 과정이라고 말씀드렸는데, 그 문제 풀이 과정 문장을 얼마나 길게 생성할지를 조절하는 것이라고 할 수 있습니다.

제품에 따라 이 설정을 Thinking Budget, Thinking Level, Reasoning Effort, Deep Think처럼 서로 다른 이름으로 부릅니다. 이들은 제품별 명칭이며, 모두 추론 강도를 조절하는 기능입니다.

추론 토큰(Reasoning Tokens)

앞에서 추론 모델은 "문제 풀이 과정 문장"을 생성한다고 했는데 이것은 모델 내부에서만 처리되기 때문에 사람이 읽을 수 있는 문장으로 생성할 필요는 없습니다.
모델에 따라 인간의 언어를 쓰거나 별도의 전용 포멧을 쓸 수 있는데 이것을 통틀어서 추론 토큰이라고 합니다.

앞의 사과와 바나나 계산 예에서

1. 사과 한 개 가격을 구한다.

   6,000원 ÷ 3개 = 2,000원

   ...

처럼 생성된 문장이 바로 추론 토큰입니다.

추론 강도는 최대 얼마까지 추론 토큰을 사용할지의 허용치이고 추론 토큰 사용량은 모델이 실제로 사용한 양입니다.
추론 강도를 높이면 모델이 사용할 수 있는 계산량이 늘어나며, 실제 추론 토큰 사용량도 늘어날 수 있습니다.

이처럼 모델이 답변 전에 더 많은 계산 자원을 쓰는 것을 추론 시점 계산(Test-time Compute 또는 Inference-time Compute) 이라고 합니다.
일반적으로 더 많은 추론 토큰과 시간을 허용하면 어려운 문제를 더 잘 풀 가능성이 커지지만, 비용과 대기 시간도 늘어납니다.

보이지 않는 추론 토큰도 비용에 포함된다

추론토큰도 출력토큰과 동일하게 트랜스포머 연산을 합니다. (GPT입장에서는 추론토큰도 출력토큰의 일부분일 뿐이죠.)

따라서 OpenAI API/Gemini/Claude등 많은 AI 서비스 제공자들은 내부에서 사용한 추론 토큰도 출력 토큰으로 계산해서 과금합니다.
사용자 화면에는 최종 답변만 보이더라도, 실제 비용에는 보이지 않는 추론 토큰이 함께 들어갑니다.

실제 출력 토큰 비용

= 내부 추론 토큰 + 사용자에게 보이는 최종 답변 토큰

예를 들어 최종 답변이 162토큰이어도 내부에서 추론 토큰 1,024개를 사용했다면, 출력 토큰은 총 1,186개로 기록될 수 있습니다.

같은 이유로 추론토큰도 컨텍스트 윈도우와 최대 출력 토큰 한도에 포함됩니다.

추론 과정에서 하는 일

실제 생성 모델은 추론 과정에서 다음과 같은 방식으로 문제 풀이 방법을 생성한다는 것도 참고 삼아 알아두시면 좋겠습니다.

1. 문제 분해(Decomposition): 문제를 여러 개의 작은 단계로 쪼갭니다.

2. 가설 수립 및 검증(Self-Correction): "이렇게 풀면 되나? 아, 이 조건 때문에 안 되겠구나" 하고 스스로 실수를 바로잡습니다.

3. 대안 탐색(Alternative Exploration): 더 나은 방법이 없는지 다른 각도에서 접근합니다.