반응형 tsv1 [전자/반도체/AI] HBM4는 왜 AI 시대의 핵심 메모리가 됐나? 초보자도 이해하는 메모리 병목의 핵심 안녕하세요. “기억하고자 하는 모든 것”을 담아내는 “리멤버미” 입니다. AI 반도체 이야기를 보다 보면 GPU 이름보다 먼저 HBM이라는 단어가 자주 보입니다.특히 최근에는 HBM3E를 넘어 HBM4가 왜 중요한지에 대한 이야기가 빠지지 않습니다. 핵심만 먼저 말하면,HBM4는 AI 칩이 계산을 못해서 느린 것이 아니라, 필요한 데이터를 제때 못 받아서 느려지는 문제를 줄이기 위해 중요해진 메모리입니다. NVIDIA는 LLM 추론의 decode 단계가 대체로 메모리 대역폭에 묶여 있고, GPU가 계산보다 KV cache를 옮기는 데 더 많은 시간을 쓴다고 설명합니다. Micron도 AI 시대의 핵심 메모리 문제를 latency 하나가 아니라 scale, bandwidth, energy로 정리하고 있습니.. 2026. 4. 9. 이전 1 다음 반응형
