트랜스포머 (Transformer)

자 이제 LLM에서 가장 중요한 트랜스포머(Transformer)에 대한 이야기가 시작됩니다. 트랜스포머? 이게 대체 뭔지 궁금하시죠? 

사실 이 말은 우리가 뜻은 몰라도 계속 써왔던 단어입니다.

우리가 항상 얘기하는 GPT가 바로 Generative Pre-trained Transformer 의 약자 거든요.

여기서 Transformer가 바로 오늘 우리가 이야기할 트랜스포머가 맞습니다. 즉 GPT의 'T'가 바로 트랜스포머 구조를 의미하는 것입니다.

토큰화와 벡터화

앞선 글(1장)에서 우리는 '임베딩 공간(Embedding)'을 배웠고, 의미를 벡터로 인식하는 과정을 배웠죠. 이 얘기가 다시 나옵니다.

인간의 언어가 LLM으로 입력이 되면 이것을 단어별로 쪼개는 작업을 먼저 하게 됩니다. 이 과정을 토큰화(Tokenization)라고 합니다.

그리고 각각의 토큰을 수천~수만 개의 숫자로 이루어진 '벡터'로 변환 합니다. 이때 임베딩 공간의 정보를 참고하죠. 

이후에는 모든 연산이 이 벡터 단위로 일어납니다. 다시 말해서 토큰이 10개면 벡터도 10개가 생성이되고 10개의 벡터 단위로 연산이 일어난다고 이해하시면 됩니다.

여러분 AI를 사용할 때 "토큰(Token)당 가격이 얼마다", "토큰 소비가 많다" 이런 식으로 토큰이라는 말 많이 들어 보셨죠?

모든 GPT연산이 이 벡터 단위로 일어나기 때문에 토큰이 많아지면 벡터도 많아지고 거기에 따라 연산량이 많아집니다. 그래서 AI의 비용을 계산할 때 토큰 단위로 계산을 하는 것입니다.

트랜스포머 1단계 : 셀프 어텐션 (Self-Attention)

이렇게 벡터로 변환된 단어들은 대규모 언어 모델의 핵심 엔진인 트랜스포머(Transformer) 계층으로 입장합니다. 각 트랜스포머 계층이 부여받은 첫 번째 임무는 바로 문장안에서 단어들 사이의 문맥(Context)을 찾아내는 것입니다.

한 문장 안에서 단어들은 절대 독립적으로 존재하지 않습니다. 앞뒤 주변에 어떤 단어가 있느냐에 따라 의미가 완전히 달라지기 때문입니다. 예들 들어 배가 부르다와 배를 탄다에서 '배'라는 단어는 완전히 다른 의미를 가지고 있죠.

이런 질문이 들어왔다고 가정합시다.

• 사과에 가장 많이 들어 있는 비타민은?

이 문장이 트랜스포머 계층에 도착하면, 문장 안의 모든 단어가 서로가 서로를 한 번씩 다 쳐다보며 연관성(점수)을 계산하는 과정이 시작됩니다.

• '비타민'은 '사과'를 슬쩍 쳐다보고 관계 점수를 매깁니다. ("사과랑 나랑 얼마나 관련 있지?")

• '비타민'은 '가장', '들어', '있는' 단어들과도 전부 하나씩 점수를 매깁니다.

• '사과' 역시 나머지 모든 단어들과 관계 점수를 매깁니다.

만약 문장에 단어가 총 N개 있다면, 단어들끼리 서로 관계를 맺는 비교의 횟수는 총 N × N번이 됩니다. 이처럼 단어들이 서로가 서로에게 어디에 집중(Attention)해야 하는지 알아내는 과정을 어텐션(Attention)이라고 부릅니다.

이렇게 단어간의 관계 점수를 얻은 다음 각 단어의 정보 벡터를 가져와 점수 비중대로 섞어서 새로운 벡터를 만듭니다. 이러면 각 단어 벡터는 문맥 정보를 가지는 값으로 바뀝니다. 예를 들어 비타민이라는 벡터는 "그냥 사전적인 '비타민'이 아니라, 앞에 있는 '사과'라는 과일과 아주 강하게 연결되어 있는 비타민" 라는 식으로 단어의 벡터 자체가 '주변 문맥'을 담은 입체적 정보로 변화하게 되는거죠.

이렇게 문맥 정보가 더해진 벡터를 컨텍스트 벡터(Context Vector)라고 부릅니다. 자 이제 이렇게 문맥 정보가 더해진 컨텍스트 벡터를 가지고 어떻게 지식을 추출하는지 다음 단계로 넘어가 봅시다.

트랜스포머 2단계 : 신경망의 의미 파악 (순전파)

앞에서 '어텐션' 단계를 통해 단어들은 문장안에서 서로의 관계를 계산하고, 그 결과 문맥 정보가 더해진 컨텍스트 벡터(Context Vector)로 변환 된다는 것을 얘기했습니다.

이 문맥 정보를 담은 컨텍스트 벡터는 트랜스포머 계층의 두 번째 파트로 진입합니다. 여기서 바로 우리가 지난 2장에서 깊게 다루었던 '인공신경망의 순전파(Forward Propagation)' 구조가 다시 등장합니다.

어텐션(Attention)이 문맥 안에서의 정보를 가져왔다면, 순전파는 "그래서 그 문맥이 진짜로 의미하는 바가 무엇인지" 핵심 지식을 꺼내오는 과정입니다.

어텐션을 거치며 하나로 결합된 문맥 정보(사과 + 가장 많이 + 비타민)는 거대한 인공신경망의 입력으로 들어갑니다. 그리고 수조 번의 반복 학습을 통해 조정된 방대한 가중치(Weight)를 적용 합니다. 신경망 내부의 수많은 가중치 연결에는 세상의 다양한 지식과 패턴이 분산된 형태로 저장되어 있습니다. 입력 정보가 신경망을 통과하면, 관련된 패턴들이 활성화되며 의미를 해석하기 시작합니다.

• “사과와 비타민이라는 신호가 함께 들어왔네.”

• “이 패턴은 학습 과정에서 비타민 C와 자주 연결되었어.”

• “사과에 비타민 C가 8~14% 들어있다는 지식을 학습한 적이 있어.”

이처럼 순전파(Forward Propagation) 과정에서는 입력된 문맥 정보가 신경망 내부의 지식 패턴과 결합하면서, 점차 하나의 구체적인 의미로 정리됩니다.

즉 어텐션은 여러 단어들에 대한 문맥 정보를 결합하는 과정이고, 순전파는 결합된 문맥에서 지식을 찾아내는 과정입니다.

그럼 다음에는 이 트랜스포머를 가지고 다음 단어를 예측하고 문장을 완성하는 과정을 알아봅시다.