앞에서 우리 두뇌의 뉴런과 시냅스가 어떻게 기억을 만드는지 알아보았습니다. 이제 AI가 이를 어떻게 모방해서 인공 신경망을 만드는지 살펴 보겠습니다.

인공 신경망의 기본 구조는 아래 그림 처럼 되어 있습니다.

왼쪽의 파란색 원 x는 하나의 입력 신호를 의미합니다.

이 입력은 여러 개의 연결 경로를 통해 각각 다른 출력으로 전달됩니다. 그 연결 강도를 나타내는 것이 초록색 상자 w₁, w₂, w₃입니다. AI에서는 가중치(weight)라고 부릅니다.

x라는 입력이 들어오면 컴퓨터는 여기에 w₁, w₂, w₃를 곱해서 y₁, y₂, y₃을 만듭니다. 

즉 x*w₁ = y₁이 되는 것이죠. 입력이 같은 신호라도 연결의 강도(가중치)에 따라 서로 다른 출력 y₁, y₂, y₃가 만들어집니다.

앞글에서 언급한 인간의 신경망과 매우 유사하죠? 시냅스전 뉴런이 x에 해당하고 시냅스후 뉴런이 y에 해당합니다. 그리고 시냅스가 w1,w2,w3 에 해당합니다.

위 그림의 오른쪽 확대 그림은 w₃ 값의 변화를 보여주는데요. 

학습 초반(Epoch 1)에는 연결 강도가 0.1로 작습니다. 즉, 아직 이 입력과 출력 사이의 관계를 충분히 배우지 못한 상태입니다. 하지만 반복적으로 같은 경험이나 데이터가 들어오면 학습이 진행되면서 50번쯤 반복하면 Epoch 50에서는 0.8까지 커집니다.

앞에서 인간의 신경망은 반복된 내용이 들어오면 시냅스의 연결 강도가 강해지면서 기억이 또렷해진다고 설명했는데, 인공 신경망도 이처럼 w₁, w₂, w₃의 값을 변경하는 것으로 학습을 합니다. 

다만 뉴런 사이의 연결이 변경되는 방식은 일반적인 인공 신경망에는 사용되지 않습니다. 연결 구조 자체는 학습 중에 새로 만들어지거나 제거되지 않고 인공 신경망을 설계할 때 미리 확정하고 시작합니다. (최근에는 가장 효율적인 연결 구조를 스스로 탐색해서 만들거나, 사용되지 않는 연결을 삭제하는등 연결 자체를 변경하는 방법도 연구 되고 있기는 합니다. )

연결 구조를 학습 중에 바꾸지 않는 이유는 AI가 학습을 하면서 가중치를 변경할 때 각 연결의 값을 얼마씩 변경해야 하는지를 연결을 거꾸로 거슬러 올라가면서 정교하게 계산해야 하는데, 연결 구조가 바뀌어 버리면 이 계산이 엄청나게 복잡해지거나 거의 불가능해지기 때문입니다.

또한 AI는 효율적인 학습을 위해 행렬 연산 형태로 구현되어 GPU의 병렬 처리 성능을 최대한 활용하는데, 연결 구조가 자주 바뀌면 행렬 차원이 맞지 않아 연산 효율이 크게 떨어집니다.