1. LLM

'대형 언어 모델'을 뜻하는 LLM(Large Language Model)은 수십억 개 이상의 파라미터(parameter)로 구성되는 언어 모델입니다. 2018년 무렵에 모습을 드러냈으며 현재 큰 관심을 받고 있는 주제입니다. LLM 작동 방식은 크게 다음의 3가지로 나뉩니다.

LLM은 광범위한 양의 텍스트 데이터를 학습하는 모델을 뜻합니다. 사람도 학습을 통해 언어 구사 능력이 고도화되듯 LLM도 방대한 양의 언어 데이터를 학습하면서 지식을 습득합니다. 오늘날 대부분의 텍스트 기반 생성형 AI는 LLM을 기반으로 작동합니다.

널리 알려진 주요 대형 언어 모델로는 오픈AI의 GPT 시리즈, Anthropic의 클로드(Claude), 딥마인드의 고퍼(Gopher), 메타의 OPT와 라마(LLaMA), 구글의 람다(LaMDA)와 PaLM2 등이 있습니다.

2. GPT

LLM이 방대한 양의 언어 데이터를 학습한 모델이라고 했습니다. GPT는 미국의 AI 스타트업인 오픈AI가 2018년 선보인 LLM의 계열입니다. 'Generative Pre-trained Transformer'의 줄임말로, 우리말로는 '사전 학습된 생성형 변환기' 정도로 변역할 수 있겠습니다. GPT 모델들은 대량의 텍스트 데이터셋으로 미리 훈련되고 인간과 같은 문자를 생성할 수 있는 변환기 아키텍처에 기반한 인공 신경망입니다.

오픈AI는 GPT-2, GPT-3, GPT-4와 같이 순차적으로 번호가 매겨진 GPT 기반 모델을 출시했습니다. 이들 각각은 훈련 가능한 매개변수(parameter)의 수가 증가함에 따라 이전보다 훨씬 더 많은 능력을 발휘합니다. 가장 최근 모델은 GPT-4로, 2023년 3월에 출시되었습니다. 챗GPT는 채팅을 뜻하는 Chat과 GPT가 합쳐진 단어입니다.

3. GPU

생성형 AI 전쟁에서 최후의 승자는 "마이크로소프트도 구글도 아닌 엔비디아(Nvidia)가 될 것"이라는 이야기가 있습니다. 엔비디아는 원래 컴퓨터 그래픽 카드로 유명한 회사였습니다. 컴퓨터나 게임에 관심이 있는 분이라면 지포스(GeForce)라는 단어를 들어보셨을 겁니다. 지포스는 엔비디아가 설계한 개인용 컴퓨터의 그래픽 칩셋 상표명입니다.

엔비디아의 GPU(Graphic Processing Unit)는 '그래픽 처리 장치'라고 번역되며, 컴퓨터 시스템에서 그래픽 연산을 빠르게 처리하여 결과값을 모니터에 출력해 주는 연산 장치입니다. 게임 산업이 발전함에 따라 고사양 그래픽 게임에 대한 수요가 증가했고, 엔비디아는 복잡한 그래픽 연산을 빠르게 처리할 수 있는 그래픽 카드를 개발했습니다. 때마침 AI 기업에서 모델을 학습시키는 데 복잡한 수학적 연산과 데이터를 빠르게 처리할 수 있는 기술이 필요했고, 엔비디아의 GPU는 이상적인 도구로 부상했습니다.

GPU의 강점은 병렬 처리 능력에 있습니다. CPU는 강력한 연산 능력을 가지고 있지만 한 번에 하나의 작업을 처리하는 데 최적화되어 있다면, GPU는 수백 또는 수천 개의 작은 코어를 가지고 있어서 많은 양의 연산을 동시에 처리할 수 있습니다.

4. HBM

고대역폭 메모리(High Bandwidth Memory, HBM)은 여러 개의 D램 칩을 TSV(Through Silicon Via)로 수직 연결해 데이터 처리 속도를 혁신적으로 끌어올린 고성능 제품입니다. 이름도 생소한 이 용어는 인공지능(AI) 분야에서 중요한 역할을 합니다.

AI 서비스는 대규모 데이터를 빠르게 처리해야 하기 때문에 고성능 메모리가 필수적입니다. HBM은 이러한 요구사항을 충족시키는 고속 메모리로서 AI 서비스의 성능을 향상시키는데 큰 역할을 합니다. 특히, 딥러닝과 같은 고도의 연산이 필요한 AI 서비스에서는 HBM의 빠른 속도와 대용량 데이터 처리 능력이 더욱 중요해집니다.

HBM은 고대역폭 메모리로서 AI 서비스의 데이터 처리 속도를 높일 뿐만 아니라, 전력 효율성도 높아서 에너지 절약에도 기여합니다. 따라서 AI 서비스의 발전과 함께 HBM의 수요도 계속해서 증가할 것으로 예상됩니다. AI 반도체 시장에서 HBM의 중요성은 더욱 높아질 것으로 전망됩니다.

5. AGI

현재 널리 사용되는 인공지능(AI)은 정확하게는 '좁은 의미의 인공지능'입니다. 특정 작업이나 기능에 최적화된 인공지능을 의미하며, 번역, 이미지 인식, 게임 등 특정한 영역에서만 인간을 능가하는 성능을 보입니다. 체스 세계 챔피언 카스파로프나 이세돌과 겨루었던 딥블루, 알파고 등이 이에 해당합니다.

이에 비해 일반 인공 지능(Artificial General Intelligence, AGI)은 인간과 유사한 지능 수준을 가진 인공지능을 말하며, 인공지능 기술의 최종 목표로 알려져 있습니다. AGI는 인간의 지능을 모방하거나 대체하기 위해 개발된 컴퓨터 시스템으로, 기계 학습이나 패턴 인식, 자연어 처리 등의 기술을 이용하여 문제를 해결하며, 의사 결정을 스스로 내릴 수 있는 능력 또한 갖추고 있습니다.

주어진 데이터를 분석하고 학습하며 지식을 습득하며, 이를 바탕으로 문제를 해결하거나 예측하는 능력을 갖추고 있습니다. 자동화 및 로봇, 의료, 금융, 교육 등 다양한 분야에서 활용되고 있습니다.

6. CXL

CXL(Compute Express Link)은 컴퓨터 시스템 간의 고속 데이터 전송을 위한 인터페이스 규격으로, CPU와 GPU, SSD 등의 다양한 하드웨어 부품들을 서로 연결해주는 역할을 합니다. CXL은 다음과 같은 주요 특징을 가지고 있습니다.

CXL은 데이터 센터나 클라우드 서비스, 그래픽 가속화, 데이터 분석 등의 분야에서 활용되며, 이를 통해 시스템의 성능을 향상시키고 운영 효율성을 높이는 데 기여합니다. 앞으로는 인공지능, 머신러닝, 딥러닝 등의 분야에서도 널리 사용될 것으로 예상됩니다.

요약하자면, CXL은 컴퓨터 시스템 간의 고속 데이터 전송을 위한 인터페이스 규격으로, 다양한 하드웨어 부품들을 서로 연결해주며, 고대역폭, 저지연, 확장성, 호환성 등의 특징을 가지고 있습니다. 데이터 센터나 클라우드 서비스, 그래픽 가속화, 데이터 분석 등의 분야에서 활용되며, 시스템의 성능을 향상시키고 운영 효율성을 높이는 데 기여합니다.

7. PCIe

PCIe (Peripheral Component Interconnect Express)는 컴퓨터 시스템에서 주변기기와 메인보드를 연결하는 인터페이스 규격을 말합니다. PCIe는 낮은 레이턴시와 높은 대역폭을 제공하며, 다양한 종류의 주변기기를 지원합니다.

PCIe는 버전에 따라 최대 전송 속도와 레인 수가 다르며, 최신 버전인 PCIe 5.0은 최대 16레인까지 지원하며, 전송 속도는 초당 40GB입니다.

8. PIM

PIM(Processing In Memory)은 메모리에서 연산이 이루어지는 기술로, 메모리 내에 연산 장치를 내장함으로써 데이터 처리 속도를 향상시키는 역할을 합니다.

기존의 컴퓨터 아키텍처와는 달리, 메모리와 프로세서가 통합되어 있어서 데이터 처리 속도가 빠르고 전력 소비가 적습니다. 딥러닝, 머신러닝 등의 인공지능 분야에서 매우 중요한 기술입니다.

9. LLW

LLW(Low Latency Wide IO)는 저지연 고대역폭 메모리 기술입니다. 기존의 D램과 달리 입출력 단자를 늘려 데이터 처리 속도를 높인 반면, 전력 소비는 줄여 줍니다.

대용량 데이터를 빠르게 처리해야 하는 클라우드 서비스나 게임 등에서 유용하게 사용되며, DDR5 이후의 차세대 메모리 기술로 주목받고 있습니다.

10. 칩렛

칩렛(chiplet)은 하나의 칩에 여러 개의 칩을 집적하는 기술로, 레고 블록을 조립하는 것과 비슷해 '레고 같은 패키지(lego-like package)'라고도 불립니다. 칩렛은 주로 고성능 컴퓨터, 그래픽 카드, 서버 등에 사용됩니다.

대형 반도체 하나를 만드는 것보다 수율이 뛰어나고, 각 회사의 요구에 따라 주문 제작이 용이한 반면, 여러 개의 칩을 집적하기 때문에 설계가 복잡하고 여러 개의 칩을 집적함에 따른 결함률이 높다는 단점이 있습니다.