앞에서 각 기업들이 자신만의 AI를 만들기 위해 RAG나 Agentic RAG를 활용하는 방법을 살펴봤습니다.

RAG는 기업 내부 문서, 최신 규정, 제품 정보처럼 필요한 지식을 답변 시점에 찾아 연결하는 방법입니다. 정보가 바뀌어도 문서를 업데이트하면 되므로, 사내 지식과 최신성을 다루는 데 특히 강합니다.

하지만 문서를 넣는 것만으로 회사 고유의 일하는 방식을 언제나 일관되게 만들기는 어렵습니다.

예를 들어 고객 응대의 말투, 반드시 지켜야 하는 답변 형식, 상황별 판단 기준을 안정적으로 따르게 하고 싶을 수 있습니다. 시스템 프롬프트와 예시로 어느 정도 조정할 수는 있지만, 문맥과 가져온 문서에 따라 결과가 흔들릴 수 있습니다.

이런 경우 모델을 특정 업무에 맞게 추가 학습하는 파인튜닝(Fine-tuning)을 사용합니다.

(이번장은 1~3장에 다뤘던 LLM기본 원리와 관련 있는 내용이 다시 나옵니다. 읽는 분에 따라 1~3장의 복습이 필요할 수도 있습니다.)

1. 파인튜닝은 언제, 누가 하는가

LLM을 만드는 과정은 크게 사전학습과 후속학습으로 나눌 수 있습니다.

사전학습에서는 책, 웹 문서, 코드 같은 방대한 원문을 읽으며 다음 단어를 맞추는 훈련을 합니다. 이 과정에서 언어 능력과 넓은 지식, 추론의 기초를 가진 Base Model이 만들어집니다.

하지만 Base Model은 문장을 이어 쓰는 능력만 있을 뿐, 아직 사용자의 질문에 친절하게 답하고 지시를 따르는 대화형 AI는 아닙니다. 그래서 질문과 좋은 답변의 예시를 학습하고, 사람의 선호와 안전 기준에 맞추는 후속학습을 거칩니다. 이 후속학습은 사전학습된 모델을 목적에 맞게 추가로 조정하는 과정이며 이것을 파인튜닝이라고 합니다.

파인튜닝은 모델을 처음 만들 때만 사용되는 말은 아닙니다. 모델이 완성된 뒤에도 기업은 그 모델을 가져와 고객 응대, 문서 작성, 코드 리뷰처럼 자기 업무에 맞게 다시 조정할 수 있습니다. 이것도 파인튜닝입니다.

둘은 같은 원리를 사용하지만 목적이 다릅니다. 모델 제작사의 파인튜닝은 Base Model을 유용한 대화형 LLM으로 만드는 과정이고, 기업의 파인튜닝은 완성된 LLM을 특정 업무와 회사의 기준에 맞추는 과정입니다.

이 글에서는 두 번째, 즉 기업이 완성된 모델을 자기 업무에 맞추는 파인튜닝을 다룹니다. 이 과정에서 모델이 진화하기는 하지만 이것은 추가 지식을 학습하는 것보다는 이미 가진 능력을 어떤 방식으로 사용할지 조정하는 것으로 생각하시면 됩니다.

그래서 계속 바뀌는 규정이나 최신 정보등 추가 지식이 필요하면 파인튜닝보다 앞에서 언급한 RAG로 외부 문서를 찾아 덧붙이는 편이 더 적합합니다.

2. 언제 파인튜닝이 필요한가

예를 들어 이런 요구가 생깁니다.

• 항상 우리 회사 말투로 답하게 하고 싶다.

• 법률 문서 요약 형식을 일정하게 만들고 싶다.

• 의료 상담에서 금지 표현과 안전 표현을 엄격하게 지키게 하고 싶다.

• 고객 응대 답변을 짧고 공손한 형식으로 통일하고 싶다.

• 개발 코드 리뷰를 우리 팀의 기준에 맞춰 하게 하고 싶다.

이처럼 "무엇을 알고 있는가"보다 "어떻게 답하고 일하는가"를 조율하고 싶을 때 파인튜닝이 유용합니다. 그렇다면 모델에게 어떤 자료를 보여주며 학습시켜야 할까요?

3. 파인튜닝 데이터의 예

예를 들어 고객센터 답변을 파인튜닝한다면 이런 데이터를 준비합니다.

질문: 배송이 늦어졌는데 어떻게 하나요?

좋은 답변: 불편을 드려 죄송합니다. 주문 번호를 알려주시면 배송 상태를 확인해드리겠습니다.

질문: 환불하고 싶어요.

좋은 답변: 환불을 도와드리겠습니다. 상품 수령일과 주문 번호를 확인해주시면 절차를 안내드리겠습니다.

모델은 이런 예시를 반복해서 보면서 "이 상황에서는 이렇게 답하는 것이 좋다"는 패턴을 익힙니다.

좋은 예시를 준비했다면, 다음으로는 그 예시를 학습할 때 모델의 어느 부분까지 바꿀지 결정해야 합니다.

4. Full Fine-tuning과 PEFT

파인튜닝은 결국 모델의 가중치를 조정하는 학습입니다. 이때 모델 전체를 바꿀지, 필요한 일부만 바꿀지에 따라 Full Fine-tuning과 PEFT로 나눌 수 있습니다.

Full Fine-tuning은 모델 전체 가중치를 업데이트합니다. PEFT는 Parameter-Efficient Fine-Tuning의 약자로, 원래 가중치는 대부분 유지한 채 작은 추가 모듈이나 일부 파라미터만 학습합니다. 비유하자면 Full Fine-tuning은 책 전체를 다시 편집하는 방식이고, PEFT는 기존 책에 필요한 보정 메모를 덧붙이는 방식입니다.

거대한 모델을 업무별로 조정하는 실무에서는 PEFT가 많이 쓰입니다. 대표적인 방식이 LoRA입니다. LoRA는 Low-Rank Adaptation의 약자로, 작은 차원의 행렬로 필요한 변화만 표현하는 PEFT 방식입니다.

5. LoRA는 어떻게 작동하나

LoRA가 어떻게 작은 행렬로 전체 모델의 출력이 영향을 주는지 살펴 보겠습니다.

앞의 인공 신경망에서 설명했듯이 모델은 입력 x에 가중치 행렬 W를 곱하는 과정을 반복하며 추론(Inference)을 진행합니다. 이 가중치 행렬은 보통 크기가 아주 큽니다. (예를 들어 GPT-3의 경우 각 레이어의 Q,K,V 등의 가중치 행렬은 12,288 x 12,288 입니다. )

기존 연산

y = W x

Full Fine-tuning은 이 큰 W 자체를 새 데이터에 맞게 계속 수정합니다. 반면 LoRA는 W는 고정하고, 작은 행렬 A와 B를 추가해 보정값만 학습합니다. 그리고 추론할 때는 가중치 행렬에 곱한 값과 작은 행렬 A,B에 곱한 값을 더합니다.

LoRA

y = W x + B A x

즉 원래 모델의 답 W x에, LoRA가 배운 작은 변화 B A x를 더하는 방식입니다.

A와 B를 두 개 쓰는 이유는 큰 보정 행렬을 직접 만들지 않고, 작은 중간 차원을 거쳐 표현하기 위해서입니다. A가 입력을 작은 공간으로 줄이고, B가 그 변화를 다시 원래 크기로 펼칩니다.

간단하게 설명하면 추가 학습 값을 적용하려면 W와 같은 차원의 행렬이 필요한데 LoRA에서는 작은 행렬을 학습 시킨 다음 작은거 두개를 곱해서 큰 걸 만드는 방법을 쓰는 것입니다.

예를 들어 5x1,000 짜리 행렬과 1,000x5 짜리 행렬을 곱하며 1,000x1,000 행렬이 나오지요? 이 원리를 이용하면 작은 행렬 두개로 큰 행렬을 만들 수 있는거죠. 여기서 중간 차원인 5가 바로 LoRA의 랭크 r입니다. 이처럼 큰 보정 행렬을 낮은 랭크로 표현하기 때문에 Low-Rank Adaptation이라고 하는 것입니다.

그래서 실제로 학습하는 값 B A는 아주 작지만 큰 W와 같은 크기의 보정으로 작동할 수 있습니다.

일반적인 LoRA는 사전학습에서 만들어진 단어와 개념의 기본 위치 관계, 즉 임베딩 공간을 크게 변경하지는 않습니다. 대신 그 위의 Attention이나 MLP(FeedForward) 층에 작은 보정값을 더해 이미 가진 지식을 어떤 문맥에서 어떻게 해석하고 답 할지를 조정합니다. 물론 필요하다면 임베딩 층까지 함께 학습하도록 설정할 수도 있습니다.

GPT-3 175B처럼 내부 벡터가 12,288차원인 모델을 예로 들어보겠습니다. 먼저 한 레이어 안의 큰 가중치 행렬 하나만 보면, Full Fine-tuning은 다음만큼의 값을 조정합니다.

W : 12,288 x 12,288

  = 150,994,944개

  = 약 1억 5천만 개

LoRA에서 중간 차원, 즉 랭크 r을 8로 두면 학습할 행렬은 다음 두 개뿐입니다.

A : 8 x 12,288     = 98,304개

B : 12,288 x 8     = 98,304개

합계                = 196,608개

즉 한 가중치 행렬에서 LoRA는 약 1억 5천만 개 대신 약 19만 7천 개만 학습합니다. 약 768배 적은 파라미터입니다.

모델 전체로 보면 차이는 더 커지죠. GPT-3 175B에는 96개의 레이어가 있습니다. 각 레이어의 Attention에서 Query와 Value 두 행렬에만 rank 8 LoRA를 붙인다고 가정해 보겠습니다.

Full Fine-tuning

= GPT-3 전체 1,750억 개 파라미터를 조정

LoRA

= 행렬 하나당 196,608 x 레이어당 Q, V 두 행렬 x 96개 레이어

= 37,748,736개

즉 이 설정에서는 1,750억 개 전체를 조정하는 대신 약 3,800만 개만 학습합니다. 약 4,600배 적은 학습 파라미터입니다. 학습할 값이 적으면 학습 속도도 빠르지만 그 값의 변화량과 학습 상태를 저장할 메모리도 줄기 때문에 결과물도 작은 어댑터 파일로 나옵니다. 그래서 학습 비용과 배포 부담이 크게 낮아집니다.

실제로는 어느 행렬에 LoRA를 붙이는지와 r을 얼마로 정하는지에 따라 이 숫자는 달라집니다. 여기서 중간 차원인 8이 LoRA의 랭크 r입니다. r이 작을수록 더 가볍게 연산할 수 있고, 클수록 더 복잡한 변화를 표현할 수 있습니다. 물론 비용은 더 늘어나겠죠.

6. 하나의 모델을 여러 업무에 쓰는 방법

앞 절에서 본 것처럼 LoRA는 학습 대상과 저장할 결과물이 작습니다. 그래서 하나의 기본 모델에 업무별 LoRA 어댑터를 따로 만들어 바꿔 끼울 수 있습니다.

기본 모델

  ├─ 법률 상담 LoRA

  ├─ 고객센터 LoRA

  └─ 사내 문서 요약 LoRA

필요한 업무에 따라 작은 어댑터만 선택하면 되므로, 업무별로 모델 전체를 따로 보관하는 것보다 관리와 배포가 가볍습니다.

요즘에 여러 모델을 제공하고 그중에서 선택해서 사용할 수 있게 해주는 모델 라우터 서비스가 많아지고 있는데, 일부 모델 라우터 서비스는 여러 기본 모델과 함께, 각 모델에 맞는 LoRA 어댑터도 선택할 수 있게 하고 있습니다. 사용자는 하나의 서비스 안에서 기본 모델과 목적에 맞는 LoRA를 조합해 여러 맞춤형 모델처럼 사용할 수 있습니다.

LoRA어뎁터의 유용성을 보여주는 사례라고 할 수 있겠습니다.

7. RAG와 파인튜닝의 비교

앞에서 설명한 RAG와 파인튜닝은 둘다 회사 맞춤형 AI를 만드는 기술이지만 이 둘은 경쟁 관계가 아니라 서로 다른 문제를 해결하는 도구 입니다.

두가지를 비교하면 이렇습니다.

실무에서는 둘을 함께 쓰는 경우가 많습니다.

LoRA로 우리 회사 답변 스타일과 업무 형식을 익힌다.

RAG로 최신 내부 문서와 근거 자료를 가져온다.

그러면 AI는 "우리 회사 방식으로 말하는 전문가"이면서 동시에 "항상 우리회사 최신 자료를 찾아주는 조수"가 됩니다.

한 줄 정리

파인튜닝은 모델의 행동 방식을 특정 업무에 맞게 조정하는 방법이고, LoRA는 그 조정을 훨씬 가볍고 경제적으로 만드는 대표적인 방식입니다. 지식은 RAG로 연결하고, 일하는 방식은 LoRA로 맞추는 조합이 실무에서 가장 유용한 방법입니다.