인공 신경망 - 은닉층과 비선형성

이전 글에서 다층 인공 신경망을 얘기했는데요, 여기에 대해서 좀 더 자세히 알아봅시다.

왜 은닉층이 필요한가?

앞에서 은닉층에 대해서 언급했는데요, 이 은닉층이 왜 필요할까요?  예를 들어 "7"이라고 써진 사진을 보고 7이라고 인식하는 과정을 생각해 봅시다.

첨부 그림의 오른쪽에 있듯이 입력층에서는 이미지의 픽셀값을 숫자로 받아들입니다. 첫 번째 은닉층에서는 선이나 엣지 같은 단순한 특징을 추출하고, 중간 은닉층에서는 이러한 엣지들을 조합해 곡선이나 모서리 같은 더 복잡한 특징을 표현합니다. 마지막 은닉층에 가까워질수록 이러한 특징들이 조합되어 숫자 "7"에 해당하는 고수준 패턴으로 인식됩니다.

이처럼 각 층은 입력을 점점 더 추상적이고 의미 있는 표현으로 변환하며, 최종적으로 분류 결과를 만들어 냅니다. 물론 실제로는 각 은닉층이 어떤 역할을 하는지 설계자가 일일이 지정하는 것은 아닙니다. 여러 은닉층을 가진 모델을 학습시키면 가중치가 자동으로 조정되면서 각 층이 서로 다른 수준의 특징을 스스로 학습하게 됩니다.

비선형성 (Non-linearity): 딥러닝이 가능하게 하는 마법

앞글에서 활성 함수가 비선형성을 만든다고 설명드렸는데, 이것은 층을 쌓는 것만큼이나 매우 중요한 개념입니다. 이해를 돕기 위해 회사 조직에 비유해 보겠습니다.

여러 단계의 조직 구조로 이루어진 회사 A, B가 있다고 가정해 보겠습니다.

CEO가 어떤 지시를 하면 A 회사는 그 지시가 중간 과정을 거치더라도 거의 그대로 모든 직원에게 전달 됩니다. 반면 B 회사는 중간 관리자가 자신의 판단을 더해 전달 합니다. 예를 들어, “이 내용은 우리 팀에 매우 중요하니 더 강조하자”, “이 부분은 우선순위가 낮으니 간단히 전달하자” 이처럼 상황에 맞게 해석하고 조정하는 것입니다.

이러면 A 조직은 선형적 구조에 가깝고, B 조직은 비선형적 구조에 가깝다고 합니다.

선형적인 조직에서는 단계가 아무리 많아도 결국 처음 지시가 거의 형태를 바꾸지 않은 채 전달됩니다. 즉, 중간 단계가 많아져도 최종 결과는 크게 달라지지 않습니다.

반면 비선형적인 조직에서는 각 단계마다 관리자의 판단이 개입되기 때문에, 단계가 많아질수록 훨씬 복잡하고 다양한 의견이 전달 됩니다.

AI에서 비선형성도 이런 역할을 합니다.

만약 신경망이 선형 연산만으로 이루어져 있다면, 은닉층을 아무리 많이 쌓아도 수학적으로는 하나의 큰 층과 동일해집니다. 여러 층에서 각각 연산을 하더라도 결국 하나의 수식으로 합쳐질 수 있기 때문입니다.

그래서 딥러닝에서는 각 층 사이에 활성 함수를 넣어 비선형성을 부여합니다. 이는 각 층에 일종의 판단 과정을 추가하는 것과 같습니다.

덕분에 각 은닉층은 단순히 정보를 전달하는 역할을 넘어, 입력 데이터의 복잡한 패턴과 관계를 점점 더 정교하게 학습할 수 있게 됩니다. 즉, 딥러닝이 복잡한 문제를 해결할 수 있는 이유는 바로 이 비선형성에 있습니다.

은닉층과 비선형 활성함수가 왜 중요한가?

제가 앞글에서 인간 뉴런의 구조는 수십 년 전부터 밝혀져 있었고, 인공신경망의 개념 역시 이미 오래전에 정립되어 있었다고 말씀드렸습니다. (실제로 인공신경망의 기본 아이디어는 1940~1950년대부터 등장했습니다.) 그렇다면 왜 이런 개념이 오랫동안 발전 없이 정체되어 있다가, 2010년대에 들어서야 딥러닝이 폭발적으로 발전했을까요?

바로 효율적인 학습방법과 은닉층을 깊게 쌓아도 학습이 잘되는 활성함수가 2010년경에 발견되었기 때문입니다.

쉽게 말해 은닉층은 생각의 단계를 늘리고, 활성함수는 생각의 형태를 복잡하게 만드는데, 이 두가지가 가능하게 되면서 딥러닝이 폭발적으로 발전하게 된거죠.