※ 세부 내용은 링크 참고 부탁드립니다.

서론

ㅇ최근 생성형 인공지능의 급격한 발전과 함께 거대언어모델, 멀티모달 AI, 자율주행, 로보틱스 등 다양한 AI 응용 서비스가 빠르게 확산되고 있다. 이러한 AI 서비스는 수백억 개 이상의 파라미터를 실시간으로 처리해야 하므로 막대한 연산 성능과 데이터 처리 능력을 요구하며, 이를 지원하기 위한 GPU, NPU, AI 가속기와 같은 AI 반도체의 성능 또한 지속적으로 향상되고 있다.

ㅇ 그러나 메모리의 성능증가 속도가 AI 반도체의 연산 성능을 따라가지 못함으로써, 시스템 전체의 처리 성능은 메모리에 의해 제한되는 경우가 점차 증가하고 있다. AI 연산에서는 대규모 모델 파라미터와 활성화 데이터, 중간 계산 결과 및 KV 캐시 등을 반복적으로 읽고 쓰는 과정이 수행되므로, 연산 자체보다 데이터 이동이 전체 성능과 전력 소모의 상당 부분을 차지한다. 프로세서의 연산 성능 향상 속도에 비해 메모리 성능 향상이 상대적으로 더디게 진행되면서, AI 시스템에서는 이른바 ‘Memory Wall’ 문제가 다시 중요한 기술적 과제로 떠오른다.

ㅇ AI 반도체에서 메모리는 단순한 데이터 저장 장치를 넘어 연산 성능과 에너지 효율을 좌우하는 핵심 구성 요소로 자리매김하고 있다. 일반적으로 AI 모델의 가중치, 활성화 데이터, Feature Map, KV 캐시 및 각종 버퍼는 메모리 계층 구조를 통해 관리되며, 그림 1과 같이 접근 빈도와 요구 성능에 따라 서로 다른 특성을 갖는 메모리가 계층적으로 배치된다. 연산기에 가장 가까운 위치에는 AI 반도체에 함께 내장될 수 있는 Register와 SRAM이 배치되어 초저지연 데이터 접근을 담당하며, 보다 큰 용량과 높은 대역폭이 요구되는 영역에는 DRAM 계열의 HBM, GDDR, LPDDR 및 DDR 메모리와 시스템 수준의 메모리 확장을 위한 CXL 기반 메모리 등이 함께 사용되어 AI 시스템의 성능과 효율을 최적화하고 있다.

* DOI: 10.22648/ETRI.2026.J.410503

출처 : 한국전자통신연구원 전자통신동향분석 > AI 반도체의 메모리 기술 동향 (2026.10.01)

(저자 : 전영득, 조민형, 김이경, 박경환 AI 반도체 인터페이스 연구실 책임연구원)

※ 공공누리 4유형(출처표시+상업적이용금지+변경금지)에 따라 한국전자통신연구원의 공공저작물을 이용하였습니다.