다계층 트랜스포머 통과

트랜스포머의 각 계층은 크게 두 가지 일을 수행합니다.

1. 어텐션(Attention) → 단어들 사이의 관계를 살펴보며, 문맥 안에서 어떤 정보를 중요하게 참고해야 하는지 파악합니다.

2. 순전파(Feed Forward Network) → 학습된 거대한 가중치를 통과시키며, 단순한 문맥을 더 깊은 의미의 지식으로 변환합니다.

그런데 최신 언어 모델은 이 과정을 한 번만 수행하지 않습니다. 트랜스포머(“어텐션 → 순전파”) 한 세트를 수십 번, 많게는 백 번 가까이 반복합니다. (GPT-3의 경우 96번.)

처음 몇 개 층에서는 비교적 단순한 관계를 봅니다. 예를 들어 어떤 단어가 주어인지, 어떤 단어와 연결되는지 같은 표면적인 구조를 파악합니다.
하지만 층이 깊어질수록 정보는 점점 더 정교하게 가공됩니다. 문장의 숨은 의도를 이해하고, 멀리 떨어진 문맥을 연결하고, 여러 지식을 종합해 의미를 추론하기 시작합니다.
즉, 위층에서는 “문장을 읽는” 수준이었다면, 아래층으로 갈수록 “의도를 해석하고 추론하는” 수준으로 발전하는 셈입니다.

그렇게 수십 개의 트랜스포머 계층을 모두 통과하면, 모델은 마지막 단계에서 지금까지 모은 문맥과 지식을 바탕으로 다음에 올 단어들의 확률을 계산합니다.

예를 들어:

• 비타민 C가 → 85%

• 비타민 B가 → 5%

처럼 후보마다 확률을 매긴 뒤, 가장 가능성이 높은 단어를 선택합니다.
즉, 모델은 단순히 단어 하나를 찍는 것이 아니라, 거대한 다층 추론 과정을 거쳐 “지금 이 문맥에서 가장 자연스러운 다음 단어”를 찾아내는 것입니다.

다음 단어 예측과 반복

이제 선택된 단어는 문장 맨 뒤에 붙습니다.

예를 들어:

• 입력: “사과에는 비타민”

• 예측 결과: “C가”

라면 새로운 문장은:

• “사과에는 비타민 C가”

로 업데이트됩니다.

그리고 여기서 끝나는 것이 아닙니다.
모델은 이렇게 갱신된 전체 문장을 다시 처음부터 읽어 들이고, 아까의 트랜스포머 반복 연산 과정을 처음부터 다시 수행합니다.

즉,

1. 문맥을 분석하고

2. 중요한 정보를 모으고

3. 의미를 깊게 해석하고

4. 다음 단어 확률을 계산한 뒤

5. 가장 자연스러운 단어 하나를 선택하는 과정

이 반복해서 이어집니다.

우리가 보는 긴 답변은 사실 이렇게 만들어진 단어들이 한 개씩 이어진 결과입니다. 겉보기에는 문장을 한 번에 쓰는 것 같지만, 내부에서는 매 순간 “다음 단어 하나”를 예측하는 거대한 계산이 반복되고 있는 셈입니다.

이 과정을 마지막 단어 (예를 들면 "있습니다.") 가 나올때까지 반복해서 단어를 이어 붙이면 GPT의 답변이 완성되는 것입니다.