인공 신경망 - 다층 신경망 (Deep Learning)

이제 실제 LLM에서 사용되는 다층 인공 신경망을 알아봅시다. LLM에서 사용하는 인공 신경망은 아래 그림과 같은 구조로 되어 있습니다.

아주 복잡해 보이죠? 하지만 자세히 뜯어보면 앞에서 설명한 Multi-node 신경망을 여러층으로 겹쳐놓은것 뿐입니다.

이렇게 여러층으로 만들어 놓고 이전 계층의 출력이 다음 계층의 입력으로 쓰이도록 합니다. 첫번째 계층의 출력이 두번째 계층의 입력이 되고, 두번째 계층의 출력이 세번째 계층의 입력이 되는 식이죠.

인공 지능이 학습 하는것을 기계학습(Machine Learning)이라고 부르는데, 이 그림처럼 여러 계층에 걸쳐서 학습하는 것은 특별히 딥러닝(Deep Learning)이라고 부릅니다.

신경망의 기본 구조 (Layers)

이런 다중 계층 신경망은 보통 입력층(Input Layer), 은닉층(Hidden Layer), 출력층(Output Layer)으로 구성됩니다. 입력층과 출력층은 외부와의 접점인 최초 입력값과 최종 출력값을 의미하고, 중간에 있는 은닉층이 실제 학습과 연산이 일어나는 핵심 부분입니다.

모델의 규모와 파라미터(Parameter)

가끔 뉴스에 보면 "어떤 모델은 파라미터가 몇개다" 이런 얘기 많이 들어보셨죠. 예를 들어 GPT-3는 총 1750억개의 파라미터를 가지고 있습니다. 이게 대체 무슨 뜻일까요?

여러분이 알고있는 AI는 이런 다층 인공신경망 구조로 되어 있습니다. GPT-3 같은 경우는 이 은닉층이 96개로 구성되어 있습니다. 그러면 96개의 각 층마다 가중치를 가지는 연결된 선이 있겠죠. 정보가 들어오면 각 층을 통과하면서 가중치 값이 곱해지고 그 결과가 다음 층으로 전달됩니다. 여기에서 이 가중치가 파라미터입니다. 즉 이 그림에 그려진 선의 총 갯수가 파라미터 갯수가 됩니다.

GPT-3는 96개의 은닉층을 가지고 있고 총 1750억개의 가중치를 가지는 선으로 연결되어 있는거죠. (앞글에서 GPT-3가 12,288 차원이고 레이어당 1억 5천만개의 가중치를 가진다고 했으니 96개의 은닉층이면 1억5천만*97 = 144억개 정도 되는데 실제로는 다른 요소가 추가 되어 총 1750억개의 파라미터가 됩니다)

신경망의 학습 방법

그럼 인공 신경망에 학습을 시키는것 (=가중치를 변화시키는것)은 어떻게 할까요?

가장 기본적인 원리는 역전파(Backpropagation)입니다. 어떤 입력을 넣었을 때 원하는 결과가 나오지 않으면, 그 오차를 계산해서 거꾸로 거슬러 올라가면서 가중치를 조정하는 방식입니다. 첨부 그림의 오른쪽에 있는 Gradient Descent(경사하강법)가 가중치를 조정하는 방법중 하나인데요.. 수학적으로는 미분에 편미분까지 나옵니다. 벌써 머리가 아파지죠? 복잡하니까 넘어가고 그냥 "얼마씩 조정해야 하는지 수학적으로 계산해서 가중치를 변화시키고 다시 테스트 하고 이 과정을 여러번 반복해가면서 원하는 결과가 나올 때까지 반복한다." 라고만 알고 계시면 되겠습니다.

여기 대비되는 말로 순전파(Forward Propagation)가 있는데, 이것은 앞에서 예로든 "7"이라는 이미지에서 7이라는 숫자를 인식하듯이 입력값을 넣어서 결과를 계산하는 과정을 의미합니다. 즉 왼쪽에서 오른쪽으로 가면 순전파, 반대로 가면 역전파인거죠. 우리가 결과 값을 얻을 때는 순전파, 학습을 시킬 때는 역전파 이렇게 이해하시면 되겠습니다.