지금까지 AI가 의미를 어떻게 지식으로 저장하는지 알아봤는데요, 이제 AI가 어떻게 학습을 하고 추론을 하는지 알아 알아봅시다.

신경망 (Neural Network)

여러분은 집에 돌아가는 길을 어떻게 기억하나요? 그 정보는 두뇌의 어느 부분에 저장되어 있을까요?

만약 머리를 부딪혀서 뇌세포가 몇 개 죽었는데, 하필 그 위치에 집에 돌아가는 길이 저장되어 있었다면 이제 집에 못 가게 되는 걸까요?

하지만 그런일은 일어나지 않지요. 사실 인간의 기억은 특정 위치에 저장되는 것이 아니라 두뇌 전반에 걸쳐 넓은 범위에 분산되어서 저장됩니다. 그래서 뇌세포 손실로 기억이 손상된다면 손상된 위치보다는 손실된 양에 관련이 있습니다.

그럼 여기에서 기억이 분산되어서 저장된다는게 대체 무슨말일까요? 아니 그전에 기억은 어떻게 저장이 되는 걸까요?

뉴런과 시냅스

우리 두뇌속에는 뉴런(Neuron)이라는 세포가 존재하고 이게 다른 뉴런들과 연결이 되어 있습니다. 뉴런은 이 연결을 통해 미약한 전기 신호를 주고 받는데요, 이 연결의 강도가 높으면 한 뉴런이 만든 신호가 다른 뉴런으로 전달이 잘 되고, 낮으면 전달이 잘 안됩니다. 우리가 학습을 하게 되면 이 연결에 변화가 생기는데 이것이 기억입니다.

좀더 구체적으로는 아래 그림과 같은 구조입니다.

뉴런(Neuron)에서 축삭(Axon)이라는게 뻗어나가 있고 축삭의 끝은 여러 갈래로 갈라져서 축삭말단(Axon Terminal)을 형성하고 있습니다. 축삭말단이 다른 뉴런의 수상돌기(Dendrite)와 만나서 신호를 전달하는 구조입니다. 신호를 보내는 뉴런을 시냅스전 뉴런 (presynaptic neuron), 신호를 받는 뉴런을 시냅스후 뉴런 (postsynaptic neuron)이라고 합니다. 축삭말단과 수상돌기가 만나는 부분은 시냅스(Synapse)라고 합니다.

즉 축삭은 신호 전달선, 축삭말단은 송신부, 수상돌기는 수신부라고 보면 됩니다. 신호 전달이 일어나는 부분이 시냅스구요. 그리고 그림에서 보듯이 시냅스 연결 강도는 모두 다릅니다.

학습과 기억

우리가 기억을 만드는 활동을 하면 다음 두가지 변화가 생깁니다.

• 시냅스에서 신호가 전달되는 연결의 강도가 변함 

• 축삭 말단에 뉴런 연결이 추가 됨  

대략 연결강도 변화는 기억의 시작, 연결 추가는 기억의 공고화 정도로 이해하시면 됩니다. (연결강도 변화는 수초~수분내에 일어나고 연결 추가는 수시간~수일이 걸린다고 합니다.)

시냅스 연결 강화 (기억 형성의 출발점)

우리가 새로운 정보를 처음 접하면, 뇌는 기존에 존재하는 뉴런 연결을 활용해 임시적인 네트워크를 만듭니다. 이때는 완전히 새로운 연결이 생기는 것이 아니라, 이미 있는 시냅스를 통해 우회적으로 연결되는 상태이며 아직 매우 약하고 불안정합니다.

이 상태에서 정보를 반복해서 접하게 되면, 특정 경로가 계속 활성화되면서 이 통로의 시냅스의 연결 강도가 점점 증가합니다. 이 과정을 장기 강화 (Long-Term Potentiation, LTP) 라고 합니다.

이 시점부터 기억이 안정되기 시작합니다.

뉴런 연결 추가 (구조적 변화 단계)

시냅스 강화가 충분히 반복되고 유지되면, 뇌는 단순히 “강화”에 그치지 않고 구조 자체를 바꾸기 시작합니다.

이 과정에서 뉴런은 새로운 가지(수상돌기)를 뻗어 다른 뉴런과의 접촉을 시도하고, 기존에 없던 새로운 시냅스를 형성하기도 합니다. 이를 시냅스 형성 (Synaptogenesis)이라고 합니다.

이 때부터 기억이 매우 또렷해집니다.

그리고 이단계에서 더 반복되면 새 연결의 시냅스가 또 강화됩니다. 이제는 노력하지 않아도 정보가 바로 튀어나오는 익숙한 기억 단계가 되죠.

신경망과 인공 신경망

우리는 이런 구조를 신경망 (Neural Network)이라고 부릅니다. AI는 학습을 하고 추론을 하기 위해 인공 신경망이라는 것을 쓰는데 지금 얘기한 인간의 신경망과 비슷한 구조를 가지고 있습니다.

AI가 핫하게 떠오른건 몇년 전 부터지만 사실 두뇌의 신경망의 구조와 기억의 원리는 수십년전부터 밝혀져 있었고 그것을 모방해서 인공 신경망을 만들려는 시도도 꽤 오래전부터 있었습니다. 앞서 언급한 "집으로 가는 길의 기억이 분산되어 저장된다"는 얘기는 제가 30년 전에 강의 들었던 이야기를 그대로 옮긴것입니다.

다만 과거에는 몇가지 기술적 난제를 극복하지 못했고 컴퓨팅 성능이 이런 신경망을 구현할 만큼 충분하지 않았기 때문에 AI의 발전이 더뎠습니다. (0~9 숫자의 필기체를 인식하는 간단한 신경망을 학습시키는데 당시 컴퓨터로 며칠씩 걸렸던 기억이 납니다. 방금 몇만개의 숫자이미지를 학습하는 코드를 colab에서 돌려보니 1분도 안걸리네요.) 

알파고가 이세돌 9단과 대결한게 2016년인데 그때도 기술적으로 주목 받았던 것중 하나는 수천개의 CPU, GPU를 연결한 분산컴퓨팅 기술이었습니다. 그정도 기술이 발달한 이후에야 AI를 위한 충분한 컴퓨팅 파워를 확보할 수 있게 된거죠.

다음에는 AI의 핵심인 인공신경망에 대해서 얘기해 보겠습니다.

참고 : 시냅스 가지치기

AI와는 거리가 좀 있지만 시냅스 얘기가 나온김에 재미있는 사실 하나.

태어난 직후부터 유아기까지 인간의 뇌는 폭발적으로 새로운 연결(시냅스)을 만들어냅니다. 이때는 일단 모든 가능성을 열어두기 위해 '과잉 연결' 상태가 됩니다. 문제는 연결이 너무 많으면 신호가 갈 때 노이즈가 심하고 에너지 소모가 커집니다. 그래서 뇌는 자주 쓰는 연결은 더 두껍게 만들고, 쓰지 않는 연결은 과감히 제거합니다. 이것을 시냅스 가지치기(Synaptic pruning)라고 합니다.

가지치기의 기준은 명확합니다. 자주 활성화되는 시냅스는 살아남고, 오랫동안 신호가 가지 않는 시냅스는 제거 대상이 됩니다. 아기 때는 전 세계 모든 언어의 음소를 구분할 수 있지만, 특정 언어만 듣고 자라면 쓰지 않는 음소 구분 연결은 가지치기당해 사라집니다. (그래서 성인이 외국어 발음을 배우기 힘든 물리적 이유가 됩니다.)

또한 청소년기에는 전두엽을 중심으로 시냅스의 가지치기가 활발하게 일어나는데, 이때 이성적 사고, 판단력, 충동 억제 능력 등이 발달하게 된다고 합니다.