지금까지 우리는 GPT가 어떻게 다음 단어를 예측하고 문장을 만들어 내는지, 그 과정에서 효율성을 높이기 위해 어떤 방법을 쓰는지 등을 알아봤습니다.

이것을 종합하면 결국 GPT란 글을 만들어 내는 모델이다 라고 한마디로 정의할 수 있겠죠.

그런데 우리가 글을 쓸 때를 가만히 생각해 보세요. 보고서나 논문을 쓴다면 논리적이고 규칙적인 내용을 쓰겠죠. 반면 시나 소설을 쓴다면 좀더 창의적이고 기발한 내용을 쓰게 될겁니다.

GPT가 글을 생성할 때도 이런 성향을 조절하는 방법이 있는데 이것을 Temperature라고 부릅니다. 이번에는 그것에 대해서 알아보겠습니다.

Temperature: AI의 창의성을 조절하는 다이얼

AI가 답변을 생성할 때, 항상 가장 확률이 높은 단어만 선택한다면 어떨까요? 답변은 매우 기계적이고 뻔하며, 매번 똑같은 대답만 내놓게 될 것입니다. 반대로 너무 무작위로 단어를 고르면 문맥에 맞지 않는 헛소리를 하게 됩니다.

이 "뻔함"과 "무작위성(다양성)" 사이의 균형을 조절하는 설정값이 바로 Temperature(온도)입니다.

Temperature의 원리: 확률의 평탄화

앞에서 설명했듯이 언어 모델은 다음 단어를 예측할 때 여러 후보 단어들의 확률을 계산합니다. Temperature는 이 확률을 조정하는 역할을 합니다.

예를 들어 "바다에 가면 ( ? )" 다음 단어의 확률이 다음과 같이 나왔다고 가정해봅시다.

• 파도가 (70%)

• 갈매기가 (20%)

• 우주선이 (10%)

GPT는 Temperature값에 따라서 이것을 다음과 같이 조정을 합니다.

1. Temperature = 0 (가장 차가운 상태, 매우 보수적) 온도를 0으로 설정하면, AI는 다양성을 완전히 포기하고 무조건 가장 확률이 높은 1위 단어만 선택합니다. 결과: "바다에 가면 파도가 친다." (매번 똑같은, 가장 안전한 답변)

2. Temperature = 1 (균형 잡힌 상태, 기본값) 온도가 1로 설정되면 AI는 원래 계산된 확률을 그대로 사용합니다. 즉 70%확률로 "파도가" 라는 단어가 선택되고 20%확률로 "갈매기가" 라는 단어가 선택 됩니다.

3. Temperature > 1 (뜨거운 상태, 매우 창의적) 온도를 높이면, 압도적이었던 1위의 확률은 낮아지고, 하위권 단어들의 확률이 올라가면서 확률 분포가 '평탄해집니다'. 결과: 70%였던 '파도'가 40%로, 10%였던 '우주선'이 30%로 조정될 수 있습니다. 이때 AI는 '우주선'을 선택할 가능성도 높아지며, "바다에 가면 우주선이 숨겨져 있다" 같은 창의적(혹은 엉뚱한) 답변을 내놓는 일이 생깁니다.

실제 AI 서비스들은 Temperature를 어떻게 쓸까?

우리가 흔히 쓰는 AI 서비스들은 목적에 따라 기본 Temperature 값이 다르게 세팅되어 있습니다.

• 일반 대화형 AI ChatGPT나 Gemini 같은 일반 대화형 AI는 보통 완전히 결정론적(temperature=0)으로 동작하지 않으며, 자연스러운 대화와 적당한 다양성을 위해 중간 수준의 설정(대략 temperature 0.6~1.0에 해당하는 성향)을 사용하는 경우가 많습니다.

• 코딩 및 데이터 분석 보조 코드를 짜거나 수학 문제를 풀 때는 창의성보다 '정확성'이 생명입니다. 이런 목적의 도구들은 Temperature를 0 ~ 0.2 수준으로 매우 낮게 설정하여, 매번 동일하고 검증된 논리를 출력하도록 유도합니다. (API로 직접 호출 시 목적에 따라 0으로 세팅하는 경우도 많습니다.)

• 문학/시 창작 도구: 소설을 쓰거나 기발한 마케팅 문구를 낼 때는 Temperature를 1.0 ~ 1.5으로 올려 예상치 못한 신선한 문장과 아이디어를 얻도록 세팅할 수 있습니다. 2.0정도 되면 아주 엉뚱한 답변들들 경험 할 수 도 있을겁니다.

결국 AI를 다룰 때 "이 작업이 정확성이 중요한가, 창의성이 중요한가?"에 따라 Temperature를 조절하는 것이 아주 중요합니다.

일반적인 AI도구들은 사용자가 직접 temperature를 설정할 수 없도록 되어 있지만, 여러분이 상용 도구에서 모델들을 선택할 때 temperature가 어떻게 설정되었는지 알 수 있으면 더 적합한 모델을 선택할 수 있겠지요.

그리고 API를 직접 호출해서 뭔가를 만드는 환경이라면 목적에 맞게 적절한 temperature를 설정하는 것도 중요하구요.

자 여기까지 AI 그중에서도 LLM의 3가지 요소를 얘기했습니다.

1장 임베이딩 공간

2장 인공신경망

3장 트랜스포머

여기까지 GPT기본 내용은 마무리가 됩니다.

GPT가 나온 이후 이것을 활용한 다양한 기술이 엄청난 속도로 쏟아져 나왔습니다. 이 기술들이 오늘날 폭발적인 AI 성장을 만든 계기가 됐죠.  다음장에서는 이런 내용들에 대해서 이야기들을 해볼까 합니다.

대략 이런 내용들이 될 것 같은데요..

ChatGPT, Reasoning Model, RAG, MCP, Agent, Skill, GEO, Prompt Engineering, Context Engineering, Harness Engineering, Agentic Workflow, Multi Agent..

정말 많네요. 지금도 몇주마다 새로운 개념들이 나오고 있어서 따라가기 벅찰 지경입니다.  그래도 한번 열심히 가봅시다.