CPU, GPU, TPU, AI 가속기 (FPGA, ASIC(NPU))에 관하여

최근 AI 기술의 발전과 함께 GPU와 AI의 관계는 더욱 밀접해졌다는 이야기를 많이 듣게 된다.

 

하지만, 실제로 AI와 관련된 처리 장치(Processing Unit)는 GPU뿐만 아니라 다양한 장치들이 있다. CPU, GPU, TPU, AI 가속기 모두 AI 작업을 지원하며, 각각의 처리 장치들은 고유의 특성과 목적에 맞춰 설계되었다.

 

이 글에서는 AI와 관련된 주요 처리 장치들의 관계성과 차별화된 특성을 알아보겠다.

Processing Unit	장점	사용 사례
CPU	순차적 작업 처리에 강하고 유연성 있음	운영체제 실행, 일반 컴퓨팅 작업
GPU	고도의 병렬 처리 능력, 높은 연산 능력, 딥러닝 훈련에 적합	그래픽 렌더링, 딥러닝 (훈련), 비디오 처리 등
TPU	딥러닝 모델에 최적화된 고속 연산, 높은 효율성	딥러닝 모델 훈련 및 추론
AI 가속기	AI 작업에 최적화된 설계.	AI 애플리케이션, 실시간 AI 추론 등

 

1. CPU (Central Processing Unit)

CPU는 컴퓨터 시스템의 두뇌로, 범용적인 처리 장치이다. AI 작업에서 CPU는 모든 종류의 연산을 처리할 수 있지만, 기본적으로 순차적 작업에 강점을 가지고 있어 대규모 AI 모델 훈련에는 그다지 적합하지 않다.

AI와 관련하여 CPU는 주로 간단한 계산이나 데이터 전처리에서 활용된다. 예를 들어, AI 모델이 훈련을 마친 후 실제 환경에서 실시간으로 예측을 수행할 때 CPU는 그리 중요한 역할을 하지 않지만, 그 외의 부가적인 처리에는 유용하게 사용될 수 있다.

2. GPU (Graphics Processing Unit)

GPU는 그래픽 처리 장치로, 원래는 화면에 이미지를 빠르게 렌더링하기 위해 설계되었다. 하지만 오늘날 병렬 연산이 필요한 AI 훈련에 강점을 발휘하며, 딥러닝과 같은 고급 AI 작업에서 핵심적인 역할을 하고 있다.

딥러닝 훈련은 수많은 데이터와 매개변수의 연산을 필요로 하기 때문에, 이를 병렬적으로 처리할 수 있는 GPU의 특성이 매우 유리하다. 특히, 행렬 연산 및 벡터 연산을 빠르게 처리할 수 있어, 대규모 신경망 모델 훈련에서 GPU의 성능은 매우 중요하다. 때문에 AI 훈련에서 GPU는 사실상 표준 하드웨어로 자리잡고 있다.

 

https://tech.ktcloud.com/17

 

위 사진을 봤을 때 CPU와 GPU의 차이를 확실하게 느낄 수 있는데, CPU는 수가 적은 대신 아래와 같은 복잡한 수식을 연산할 수 있으며, 

 

GPU는 복잡한 수식을 연산할 수 없지만, 아래와 같은 단순한 수백만개의 결과값을 같은 시간에 연산할 수 있다는 장점을 가지고 있다.

 

3. TPU (Tensor Processing Unit)

TPU는 Google이 딥러닝 및 텐서 연산을 위해 설계한 특수 목적 하드웨어이다. 딥러닝 모델 훈련과 추론에 최적화되어 있으며, 특히 행렬 연산에 뛰어난 성능을 보인다.

TPU는 딥러닝의 핵심 작업인 텐서 연산을 빠르게 처리할 수 있어, AI 훈련을 더욱 효율적으로 만들어준다. TensorFlow와 같은 AI 프레임워크와 잘 통합되어 있어서, AI 연구자와 개발자들에게 큰 도움이 된다. TPU는 특히 대규모 클라우드 환경에서 AI 모델 훈련에 유리하여 Google Cloud에서 사용되고 있다.

4. AI 가속기 (AI Accelerator)

AI 가속기는 AI 추론을 최적화하기 위해 설계된 하드웨어이다. AI 모델을 실시간으로 실행하는 데 필요한 연산을 빠르고 효율적으로 처리할 수 있는 특성을 가지고 있다.

 

AI 가속기를 구현하는 방법은 크게 FPGA, ASIC, NPU가 있다.

 

1) FPGA

FPGA는 프로그래밍이 가능한 반도체 장치로, 사용자의 요구에 따라 회로를 재구성할 수 있는 유연성이 특징이다. FPGA의 주요 특성은 다음과 같다:

• 프로그래머블: Bitstream, 즉 프로그램을 그리고 지울 수 있는 유연성을 가진다.
• 소량 생산에 유리: 항공, 우주, 국방 등 특수 분야에서 소량 생산 시 경제적이다.
• 저전력 설계 가능: 아키텍처를 통해 병렬 구조를 설계하여 저전력 병렬 연산이 가능하다.

 

2) ASIC (NPU)

ASIC은 특정 용도에 맞춰 설계된 주문형 반도체로, 대량 생산에 적합하다. 개발 과정에서 FPGA를 이용한 검증을 거친 후 제작이 진행된다. NPU라고도 불리며, ASIC의 주요 특성은 다음과 같다:

• 고정된 설계: 한 번 설계되면 변경이 불가능하며, 특정 애플리케이션에 최적화된다.
• 대량 생산에 유리: 대규모 생산 시 비용 효율적이다.
• 고성능: 특정 작업에 최적화되어 높은 성능을 제공한다.
• 저전력: 특정 애플리케이션에 최적화되어 있어 전력 효율성이 높다.