AI, Deep Learning, DNN(Deep Neural Network)

AI HW 엔지니어는 주요 업무는 알고리즘 엔지니어(ML Engineer)가 설계한 DNN 모델을 하드웨어에서 최적의 성능과 전력 효율로 실행할 수 있도록 하드웨어 가속기 및 연산 구조를 설계하는 것이다. 이를 위해 AI의 기본적인 이론을 이해하는 것은 매우 중요하다. 해당 카테고리에서는 알고리즘을 깊게 파고드는 것이 아닌, HW 설계를 위해 알아둬야할 기초 지식들에 대해 정리해보고자 한다.

 

https://theoreticalecology.github.io/machinelearning/

 

AI 분야에서, Machine Learning, Deep Learning, DNN은 위와 같은 계층 구조를 가지게 된다. 각각의 정의를 살펴보자면,

 

인공지능(Artificial Intelligence, AI):
인공지능은 가장 광범위한 개념으로, 인간의 지능을 기계나 컴퓨터 시스템에 인공적으로 구현한 것을 뜻한다. 이는 추론, 학습, 문제 해결, 인식 등 인간의 지능적 행동을 모방하는 기술을 포함한다.

머신러닝(Machine Learning):
머신러닝은 AI의 한 분야로, 컴퓨터가 데이터로부터 학습하고 패턴을 인식하여 예측이나 결정을 내릴 수 있도록 하는 알고리즘과 기술을 개발하는 분야아다. 이는 명시적인 프로그래밍 없이 데이터를 기반으로 학습하는 방식을 사용한다.

딥러닝(Deep Learning):
딥러닝은 머신러닝의 한 부분으로, 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화를 시도하는 알고리즘의 집합이다.

DNN(Deep Neural Network):
DNN은 딥러닝에서 사용되는 심층 신경망을 의미한다. 이는 여러 층의 인공 뉴런으로 구성된 네트워크로, 입력층, 여러 개의 은닉층, 그리고 출력층으로 구성된다.

 

이 중에서 DNN을 자세히 살펴보자.

 

---

 

DNN은 뉴런이 연결된 형태를 모방한 모델인 인공신경망(ANN, Artificial Neural Network)을 깊게 쌓은 형태이다. 뉴런이 연결된 모습을 보면,

 

 

뉴런은 시냅스를 거쳐서 수상돌기(dendrite)로 받아들인 외부의 전달물질을 세포체에 저장하다가, 자신의 용량을 넘어서면 축색돌기(axon)를 통해 외부로 전달물질을 내보내는 구조를 가지고 있다.

 

ANN은 생물학적인 뉴런을 수학적으로 모델링한 것이다. 즉, 생물학적인 뉴런이 위의 그림과 같이 다른 여러개의 뉴런으로부터 입력값을 받아서 세포체(cell body)에 저장하다가 자신의 용량을 넘어서면 외부로 출력값을 내보내는 것처럼, ANN은 여러 입력값을 받아 여기에 가중치(weight)를 곱해 저장하고, 활성화 함수를 통해 활성화시켜 출력값을 내보내는 형태를 가지고 있다.

 

---

 

1958년 Frank Rosenblatt에 의해 제안된 퍼셉트론(Perceptron)은 이 구조를 본따 만든 최초의 AI 라고 볼 수 있지만, 한계가 있었다. AND와 OR 게이트는 구현할 수 있지만, XOR 게이트는 구현할 수 없는 문제가 있었다.

 

AND와 OR 게이트의 경우 모든 학습 샘플에 대해 단 하나의 직선으로 0과 1을 나눌 수 있었지만, 아래 그래프에서 보듯이, XOR은 단일 직선으로 구분할 수 없기 때문에 단일 퍼셉트론으로는 학습이 불가능한것이였다. 더 명확한 예시를 들자면 다음과 같다.

 

 

따라서, 최소 2개의 층이 필요한 다층 퍼셉트론 구조가 요구되는데 이를 위해 비선형 활성함수, 은닉층(Hidden Layer)을 추가한 다층 퍼셉트론(Multi-Layer Perceptron, MLP)이 개발되었고, 이러한 은닉층을 포함한 신경망이 발전하여 DNN(Deep Neural Network)로 불리게 되었다.