앞에서 인공 신경망과 뉴런 구조의 유사성에 대해서 얘기했는데, 실제로 어떻게 구현되는지 좀더 들여다 봅시다.

인공 신경망 - 단일 출력

이전 글에서는 하나의 입력이 3개의 출력으로 가는 그림이었었다면 이번 그림은 반대로 3개의 입력이 하나의 출력으로 합쳐지는 그림 입니다.

여러 입력에서 들어온 값은 각각의 가중치와 곱해진 다음 합쳐져서 하나의 출력값을 만들어 냅니다. 실제로는 그냥 더하는건 아니고 어떤 함수 f(z)를 통과시켜서 최종 출력값을 만들어 내는데 이것을 활성함수(Activation Function)라고 부릅니다.

활성 함수 (Activation Function)

활성함수는 "숫자가 일정 범위에 들어오도록 조정하고 (예: 0~1 사이로 압축) 비선형성을 가지도록 해서 더 복잡한 패턴을 학습할 수 있도록 한다." 하는 함수입니다. 뇌의 뉴런에서 나오는 전기 신호도 "어느 강도를 넘으면 전달되고, 그렇지 않으면 전달되지 않는다”는 비선형성을 가지고 있는데, 이것을 모방해서 한 신호를 내보내기 전에 한번 더 판단 과정을 거치는 함수를 추가한거죠.

(비선형성에 대해서는 다음 글에서 설명합니다.)

인공 신경망 - Multi-Node

이 그림은 앞의 두개의 그림을 합해서 3개의 입력이 3개의 출력으로 가는 그림입니다.

점점 더 복잡해지죠? 실제 AI는 이런식으로 여러개의 입력과 여러개의 출력으로 이루어지는 구조로 되어 있습니다.

3개 입력 3개 출력이면 중간에 연결선은 9개가 되고 가중치도 9개가 되죠?
입력이 10개면 100개, 100개면 10,000개가 되는식으로 입력이 많아질수록 연결선(가중치)는 기하급수적으로 늘어납니다.

제가 앞에서 벡터의 차원을 얘기했는데 이 갯수가 벡터의 차원과 관련이 있습니다. 100차원 벡터로 이루어진 모델이라면 가중치가 10,000개가 된다고 생각하시면 됩니다.

GPT-3는 12,288차원 벡터를 사용하는데 이러면 하나의 레이어당 가중치가 1억 5천만개가 됩니다.

12,288×12,288=150,994,944

(레이어에 대해서는 다음 글에 설명)

이렇게 기하급수적으로 연산량이 늘어나는 구조 때문에 AI에 막대한 GPU와 컴퓨팅 자원이 필요합니다.

(GPT-3는 2020년에 출시되었는데 이때부터 처음으로 "어? 기계가 사람처럼 말을 하네?"라는 생각이 들게 만드는 수준이 되었습니다. 이 모델을 튜닝해서 좀더 자연스러운 대화를 하도록 만든게 GPT-3.5인데 2022년에 출시된 ChatGPT는 GPT-3.5를 사용했습니다. 그리고 이때부터 LLM붐이 시작되었죠.)

다음에는 실제 AI의 인공 신경망 모습에 대해서 알아 봅시다.

참고

오른쪽 그림을 보면 Y=f(WX+b) 라는 수식이 있는데, W가 가중치, X가 입력값, b가 편향(bias)입니다. f는 활성함수구요. 가중치를 하나씩 곱해서 더하는게 아니고 행렬로 만들어서 한꺼번에 곱합니다. (그리고 이런 행렬 연산이 GPU가 잘하는 연산이죠.)
편향은 출력값의 기준점을 이동시키는 역할을 하는데 모델이 더 유연하게 패턴학습을 할 수 있도록 해줍니다. 인간뇌의 뉴런에 비교하면 기본 민감도라고 생각하면 됩니다.

사실 이런 내용은 다 아실필요는 없습니다. 다만 그림에 나와 있으니 궁금하신 분들이 계실까봐서 참고로 설명 합니다.