AI와 대화하다 보면 이런 경험을 종종 합니다.

사용자:

내가 만든 이 전략은 어때?

AI:

네, 매우 훌륭한 전략입니다.

특히 방향성과 실행 계획이 인상적입니다.

기분은 좋습니다. 그런데 정말 좋은 전략이라서 동의한 걸까요? 아니면 사용자가 듣고 싶어 하는 답을 해준 걸까요?

AI가 사실이나 독립적인 판단보다 사용자의 의견에 맞춰 지나치게 동의하고 칭찬하는 현상을 Sycophancy라고 합니다. 우리말로는 보통 AI의 아부, 과도한 동조, 또는 예스맨 현상이라고 부릅니다.

왜 이런 현상이 발생하는지 이해하려면 먼저 대화형 LLM이 어떻게 만들어지고 학습되는지 그 과정에 대해서 이해할 필요가 있습니다. 이번 챕터는 LLM의 학습 과정을 들여다 보고 AI가 아부를 하는 이유를 알아봅시다.

LLM은 어떤 순서로 만들어질까?

대화형 LLM은 크게 세 단계를 거쳐 제품이 됩니다.

* Pre-training

   └ 언어와 지식의 패턴을 익혀 기초 모델(Base Model)을 만든다.

     ⬇

* Post-training

   └ 질문에 답하고 안전하게 행동하는 방식을 조정한다.

     ⬇

* System Integration

   └ 모델을 지시, 대화 문맥, UI와 연결해 제품으로 만든다.

앞의 두 단계는 모델을 학습하는 과정입니다. 마지막 System Integration은 학습된 모델에 여러 기능을 붙여 제품으로 만드는 과정입니다. 이제 이 순서대로 각 과정을 하나씩 살펴보겠습니다.

1단계: 다음 토큰을 예측하는 Pre-training

Pre-training은 LLM의 기본 지능을 만드는 사전 학습 단계입니다.

앞에서 LLM은 결국 다음 토큰을 예측하는 모델이라고 했죠? Pre-training 단계에서 모델은 인터넷 문서, 책, 코드, 논문 같은 방대한 자료를 읽으며 앞 문맥 다음에 올 토큰을 반복해서 예측하는 학습을 합니다.

오늘 날씨가 좋아서 공원에 ...

이 뒤에 갔다, 산책하러, 나갔다 같은 표현이 올 가능성을 계산하는 훈련을 엄청난 규모로 반복합니다.

이 학습 방법은 입력된 원문에 실제로 있는 다음 토큰이 정답 역할을 하므로 누군가가 문장에 정답표를 붙일 필요가 없습니다. 이처럼 데이터 자체에서 정답을 만들어 학습하는 방법을 자기 지도 학습(Self-supervised Learning)이라고 합니다.

사람이 정답을 붙이지 않는다는 점 때문에 LLM의 사전학습을 넓게 봐서 비지도학습(Unsupervised Learning)이라고 부르기도 합니다. 다만 비지도학습은 정답 없이 데이터의 구조를 찾는 방법이고, LLM은 원문의 다음 토큰을 정답으로 삼으므로 자기 지도 학습이라고 부르는 편이 더 정확합니다

이 과정에서 모델은 다음과 같은 패턴을 익힙니다.

• 단어와 문법

• 개념과 지식의 관계

• 글의 구조와 표현 방식

• 코드와 수학의 패턴

• 문맥에 따라 이어질 법한 내용

이 단계의 산출물은 문장을 그럴듯하게 이어가는 기초 모델(Base Model)입니다. 아직 사람의 요청에 친절하고 안전하게 답하는 대화형 제품은 아닙니다.

2단계: 답변하는 방식을 배우는 Post-training

사전학습으로 만든 Base Model은 문장을 이어 쓰는 능력은 있지만, 아직 사람의 질문에 잘 답하는 대화형 AI는 아닙니다. 그래서 사전학습 뒤에 추가 훈련을 하며 어떻게 답해야 하는지를 가르칩니다. 이를 Post-training(후속학습)이라고 합니다.

후속학습은 크게 두 과정으로 이해할 수 있습니다.

Base Model

  ⬇

  ⬇ ← 질문과 좋은 답변을 보고 지시를 따르는 법을 배운다. (지도학습)

  ⬇

지시를 따르는 모델

  ⬇

  ⬇ ← 여러 답변을 비교하며 어떤 답변이 더 좋은지 배운다. (강화학습)

  ⬇

사람의 선호와 기준에 맞춰진 대화형 모델

지도학습 - 질문과 좋은 답변으로 배운다

입력과 정답을 한 세트로 보여주며 학습시키는 방법을 지도학습(Supervised Learning)이라고 합니다. 후속학습에서는 질문을 입력으로, 사람이 만든 좋은 답변을 정답으로 사용합니다. 이를 SFT(Supervised Fine-Tuning, 지도 미세조정)라고 합니다.

예를 들면 이런 질문-답변 세트입니다.

질문: 사전학습과 후속학습의 차이를 세 줄로 요약해줘.

좋은 답:

1. 사전학습에서는 방대한 원문을 이용해 언어와 지식의 패턴을 익힙니다.

2. 후속학습에서는 질문에 답하고 사람의 지시를 따르는 방법을 배웁니다.

3. 이 과정을 거쳐 Base Model이 대화형 모델로 발전합니다.

모델은 이런 좋은 답변을 따라 하면서 질문에 직접 답하기, 요약이나 번역 지시를 따르기, 원하는 형식 지키기, 위험한 요청을 적절히 거절하기 등을 배웁니다.

간단히 말하면 사전학습이 말을 이어가는 법을 배우는 단계라면, SFT는 질문에 답하는 법을 배우는 단계입니다.

강화학습 - 평가와 보상으로 어떤쪽이 더 좋은지 배운다

SFT로 답하는 법을 배워도 하나의 질문에 여러 답변이 가능할 때 어느 쪽이 더 좋은지는 분명하지 않을 수 있습니다. 그래서 같은 질문에 여러 답변을 만들고 사람이 더 나은 답변을 선택하게 합니다. 이렇게 답변에 대한 사람의 선호를 배우는 과정을 선호 학습이라고 합니다.

이때 정답 문장을 직접 보여주는 대신, 결과가 얼마나 좋은지 점수나 보상으로 알려주며 행동을 조정하는 방법을 강화학습(Reinforcement Learning)이라고 합니다. 사람의 평가를 보상으로 바꾸어 모델을 조정하는 대표적인 방법이 RLHF(Reinforcement Learning from Human Feedback, 인간 피드백을 통한 강화학습)입니다.

하나의 질문

  ⬇

여러 답변 후보 생성

  ⬇

사람이 더 좋은 답변을 선택

  ⬇

선호를 보상 신호로 변환

  ⬇

높은 평가를 받을 답변을 생성하도록 조정

SFT가 좋은 답변의 예시를 보여준다면, RLHF는 여러 답변 중 어떤 답변이 더 높은 평가를 받는지 알려주는 셈입니다.

모델의 행동을 사람의 선호, 안전 기준, 목적에 맞추는 이러한 과정을 정렬(Alignment)이라고 합니다.

3단계: 모델을 제품으로 만드는 System Integration

학습이 끝난 모델은 입력을 받아 다음 토큰을 생성하는 엔진입니다. 이것을 ChatGPT 같은 AI 제품으로 만들려면 사용자의 요청과 대화 기록을 모델에 전달하고, 모델의 역할과 행동 기준을 정하며, 생성된 답변을 화면에 보여주는 시스템이 필요합니다. 이처럼 학습된 모델을 실제 서비스의 구성 요소와 연결하는 과정을 System Integration이라고 합니다. (#4.2 문맥과 기억 참고)

여기에는 시스템 지시와 안전 정책, 대화 문맥 관리, 사용자 화면이 기본적으로 포함됩니다. 제품의 목적에 따라 이미지와 음성 처리, 파일 읽기, 웹 검색, RAG, 코드 실행, 외부 API, 메모리 같은 기능을 추가할 수도 있습니다. Agent 제품이라면 계획을 세우고 도구를 실행한 뒤 그 결과를 다시 확인하는 실행 구조도 이 단계에서 결합합니다.

같은 모델을 사용해도 어떤 지시와 문맥, 도구, 실행 구조, 사용자 화면을 결합하는지에 따라 서로 다른 제품이 됩니다. (예를 들어 Claude와 Claude Code는 같은 모델을 쓰지만 다른 제품이죠. Gemini와 Antigravity도 비슷한 관계입니다.)

LLM제작 과정 요약

지금까지 설명한 내용을 간단하게 요약하면 다음 표와 같습니다.

여기서 SFT와 RLHF는 사전학습된 모델을 추가로 조정하므로 넓은 의미에서 파인튜닝에 포함됩니다. 앞 장에서 다룬 Full Fine-tuning과 PEFT도 파인튜닝을 수행하는 방법입니다. 하지만 두 그룹은 서로 다른 기준의 용어입니다. SFT와 RLHF는 어떤 학습 신호로 모델을 조정하는가에 관한 구분이고, Full Fine-tuning과 PEFT는 어느 범위의 가중치를 조정하는가에 관한 구분입니다. 간단히 정리하면 다음과 같습니다.

학습 신호에 따른 구분

├─ SFT: 질문과 좋은 답변 예시

└─ RLHF: 사람의 선호에서 얻은 보상

가중치 변경 범위에 따른 구분

├─ Full Fine-tuning: 모델 전체의 가중치 조정

└─ PEFT: 기존 가중치는 대부분 유지하고 일부 파라미터만 학습

   └─ LoRA: 작은 추가 가중치를 학습하는 대표적인 PEFT 방식

--

용어를 잊어버리신 분들을 위해 다시 한번...

* SFT : Supervised Fine-Tuning

* RLHF : Reinforcement Learning from Human Feedback

* PEFT : Parameter-Efficient Fine-Tuning

* LoRA : Low-Rank Adaptation

왜 사람의 선호를 배우면 아부가 생기나?

자 이렇게 LLM이 만들어지는 과정을 보면 어째서 AI가 아부를 하는지 힌트를 얻을 수 있습니다.

가장 직접적인 힌트는 후속학습에 있습니다. SFT에서는 사용자의 질문과 지시에 적절히 답하는 법을 배우고, RLHF에서는 사람이 선택한 답변을 바탕으로 무엇이 더 좋은 답변인지 배웁니다. 모델의 행동을 사람의 선호와 목적에 맞추는 이러한 정렬 덕분에 AI는 친절하게 답하고, 원하는 형식을 따르며, 위험한 요청을 거절할 수 있습니다.

하지만 바로 여기에 아부가 생길 가능성도 숨어 있습니다.

사람이 좋아하는 답변과 사실에 가장 충실한 답변이 항상 같지는 않다.

RLHF와 같은 선호 학습에서 모델은 사람에게 더 높은 평가를 받을 만한 답변을 생성하도록 조정됩니다. 문제는 사람이 언제나 가장 정확한 답변만 좋아하는 것은 아니라는 점입니다.

사람은 다음과 같은 답변을 더 선호할 수도 있습니다.

• 자신의 생각을 인정하고 지지하는 답변

• 자신감 있고 설득력 있게 쓰인 답변

• 불편한 반론보다 기분 좋은 동의를 주는 답변

그래서 모델 입장에서는 다음과 같은 학습 신호를 받을 수 있습니다.

사용자의 생각에 동의한다.

  ⬇

사용자가 답변을 좋아한다.

  ⬇

RLHF에서 더 높은 보상을 받는다.

  ⬇

학습 결과 비슷한 상황에서 동의하는 답변을 선택할 가능성이 높아진다.

결국 사람을 만족시키도록 잘 훈련된 모델이 오히려 사람의 잘못된 믿음까지 지지하는 역설이 생길 수 있습니다.

2023년 공개된 Sycophancy 연구↗에서도 사람과 선호 평가 모델이 사용자의 견해에 맞춘 답변을 더 선호하는 경향이 관찰되었습니다. 일부 상황에서는 정확한 답변보다 설득력 있게 쓰인 동조 답변이 선택되기도 했습니다.

RLHF만 문제일까?

그렇다고 AI의 아부를 단순히 “RLHF 때문에 생긴 문제”라고 단정하기엔 무리가 있습니다. 사실 AI의 아부는 다음과 같이 크게 3가지 이유로 볼 수 있습니다.

1. 사전학습의 대화 패턴: LLM이 학습하는 수많은 글과 문서에는 상대에게 맞장구치고 관계를 부드럽게 유지하는 인간의 표현이 들어 있습니다. (예: 소셜 미디어, 블로그)

2. 대화 문맥과 지시 이행: 사용자가 원하는 결론을 질문에 넣으면 모델은 그 방향을 중요한 조건이라고 생각하고 받아들입니다.

3. 선호 정렬과 평가 기준: 앞에서 얘기한 RLHF단계에서 친절함, 만족도, 자연스러움이 더 높은 평가를 받는 현상

따라서 Sycophancy는 특정 학습 기법 하나에서 생긴 단순한 오류라기보다, 상대에게 협조하려는 대화 성향이 진실성과 충돌할 때 나타나는 현상에 가깝습니다. 사실 사람도 사회적 관계를 원만하게 유지하기 위해 상대의 비위를 맞추거나 의견에 동조하곤 하는데, LLM은 인간이 남긴 방대한 대화 데이터를 학습하면서 이러한 패턴까지 함께 익힌 것입니다.

문제의 심각성

2025년 4월, OpenAI는 ChatGPT의 GPT-4o 업데이트를 되돌렸습니다. 업데이트된 모델이 지나치게 칭찬하고 동의하는 방향으로 변했기 때문입니다.↗

OpenAI는 모델의 기본 성격을 더 직관적이고 효과적으로 만들려 했지만, 단기적인 사용자 피드백을 지나치게 반영한 결과 모델이 사용자에게 지나치게 호의적이지만 진실하지 않은(overly supportive but disingenuous) 답변을 하게 되었다고 설명했습니다.

이 사례는 아부가 단순한 말투 이슈가 아니라 다음과 같은 문제를 야기할 수 있다는 점을 보여줍니다.

• 잘못된 판단이나 믿음을 강화할 수 있다.

• 사용자가 AI를 객관적인 조언자로 오해하게 만들 수 있다.

• 장기적으로 AI에 대한 신뢰와 의존 방식에 영향을 줄 수 있다.

질문이 답의 방향을 만든다

그러면 어떻게 이 문제를 극복할 수 있을까요?

첫째, LLM이 아부하는 답변을 내놓을 수 있다는 점을 인식해야 합니다. AI가 내 의견에 동의했다고 해서 그 의견이 객관적으로 검증된 것은 아닙니다. 특히 지나치게 동조하거나 칭찬하는 답변이 나오면 의심을 해야 합니다.

둘째, 프롬프트에서 동의가 아니라 객관적인 검토를 요구해야 합니다. 질문할 때는 다음 세 가지 원칙을 적용할 수 있습니다.

• 중립적으로 질문한다: 원하는 결론을 미리 넣지 말고 여러 대안을 비교하게 한다.

• 반대 관점을 요청한다: 약점과 반대 근거, 실패 가능성을 함께 검토하게 한다.

• 답변을 검증한다: 사실, 추정, 주관적 판단을 구분하고 중요한 결론은 외부 근거로 확인한다.

예를 들어 다음 두 질문은 비슷해 보이지만 답변의 방향을 다르게 만듭니다.

“이 전략이 가장 좋은 선택이지?”

 => 유도하는 질문

“이 전략의 장점, 약점, 실패 가능성을 검토해줘.”

 => 검토를 요청하는 질문

첫 번째 질문에는 사용자가 원하는 결론이 들어 있어 아부성 답변이 나올 가능성이 높습니다. 반면 두 번째 질문은 객관적으로 장점/약점을 답할 가능성이 높습니다.

AI를 의사결정 파트너로 쓸 때 필요한 것은 많은 칭찬과 좋은 표현이 아니라, 내가 놓친 조건, 반대 근거 그리고 위험 요인을 찾아주는 능력입니다.

한 줄 정리

대화형 AI는 사전 학습으로 언어와 지식의 기본 패턴을 익히고, 후속 학습과 정렬을 통해 사람에게 유용한 방식으로 행동하도록 조정됩니다. 그러나 사람의 선호에 맞추는 과정은 때로 사실보다 사용자의 동의를 우선하는 아부(Sycophancy)라는 부작용을 낳을 수 있습니다.