GPT-3 가 나오고 거기에 기반한 ChatGPT가 나온 이후 수많은 기술적 진보가 있었습니다. 

추론 모델이 나왔고, RAG, MCP, AI Agent, Harness Engineering, Agentic Workflow, Multi-Agent. .... 등등 수많은 새로운 기술들이 나왔습니다.  이번 장에서는 이런 GPT 이후의 이야기들을 해보려고 합니다. 

 
(하지만 알고보면  이 모든게 지금까지 설명한 GPT의 3가지 작동 원리에 기반한 것입니다. 따라서 GPT의 3가지 작동 원리를 알고 있다면 이번장에서 설명할 이런 개념들은 쉽게 이해하실 수 있을 겁니다.)

자 이번에는 그 첫번째로 오늘날 AI붐이 일어나게 된 계기에 대해서 얘기해 보겠습니다.

지능의 창발(Emergence)

과거의 AI는 우리가 정의한 규칙 안에서만 움직였습니다. 하지만 GPT-3가 등장했을 때 부터 많은 사람들이 “AI가 스스로 생각하는 것 같다”고 느끼기 시작했습니다. 그 이유는 단순한 성능 향상을 넘어 질적으로 다른 행동이 나타났기 때문입니다. 그 핵심에 있는 개념이 바로 지능의 창발(Emergence) 입니다.

양이 어느 순간 ‘질’을 바꾼다

창발이란, 작은 단위에서는 보이지 않던 능력이 규모가 커지면서 갑자기 관찰되는 현상입니다.

GPT-3는 약 1,750억 개의 파라미터를 가진 모델로, 이전 세대인 GPT-2보다 압도적으로 커졌습니다. GPT-3 규모의 모델이 등장하면서 이전에는 잘 보이지 않던 능력들이 관찰되기 시작했고, 이를 창발 현상으로 해석하는 연구들이 주목받았습니다.

예를 들어, 특별히 번역 작업을 하도록 학습시키지 않았는데도 번역에 해당하는 작업을 하거나, 간단한 수학 문제를 풀고, 심지어 코드까지 생성하는 모습이 나타났습니다.

이건 점진적인 개선이라기보다, 어떤 임계점을 넘으면서 갑자기 가능해진 변화에 가깝습니다.

왜 이런 일이 생길까?

이 현상을 이해하려면 “많아지면 그냥 더 좋아진다”가 아니라, "많아지면 아예 다른 성질이 된다"는 관점이 필요합니다.

예를 들어보죠.

물이 분자(H₂O)일 때는 그냥 개별 입자일 뿐이지만, 일정 수 이상 모이면 ‘흐르는 성질’이라는 완전히 새로운 특성이 나타납니다. 개별 분자에는 ‘흐름’이라는 개념이 없지만, 집합에서는 생깁니다.

LLM도 비슷합니다. 작은 모델에서는 단순히 “다음 단어 맞추기” 정도만 잘합니다. 하지만 모델이 커지고, 데이터가 많아지고, 학습이 깊어지면 내부 표현이 훨씬 풍부해지면서 다음과 같은 일이 벌어집니다:

• 단어 간 관계를 넘어서 개념 간 관계를 구성

• 문장 패턴을 넘어서 추론 구조를 흉내냄

• 단순 생성이 아니라 문맥을 유지하며 문제 해결처럼 보이는 행동

예를 들어, “프랑스어로 번역해줘”라는 지시를 받았을 때 작은 모델은 본 적 있는 문장만 제한적으로 대응하지만, 큰 모델은:

“이건 번역이라는 작업이다” → “입력 언어와 출력 언어를 매핑해야 한다”

라는 식의 추상적인 문제 구조를 내부적으로 형성하고 처리합니다. 이 과정이 바로 사람들이 “생각하는 것 같다”고 느끼는 지점입니다.

저도 이전 모델에서는 기계같다는 느낌을 받다가 GPT-3부터 갑자기 사람 처럼 대화하는 것을 보고 놀랐는데, 오늘날 AI붐의 결정적 계기는 AI가 사람 처럼 이야기하기 시작한 이 시점이라고 생각합니다. 

한 줄 정리

단순한 성능 향상을 넘어, 규모가 커지면서 이전에는 거의 보이지 않던 능력이 두드러지게 나타나는 현상. 이를 AI 연구에서는 창발(Emergence)이라고 부릅니다. GPT-3 부터  이런 현상이 나타나면서 AI붐의 계기가 되었습니다.