인공지능 생성이라는 경쟁이 치열한 분야에서, 이제는 GPU의 순수 속도가 아니라 GPU에 전력을 공급하는 메모리의 발열 및 대역폭 제약이 핵심적인 제약 요소가 되었습니다. SK하이닉스는 기존의 규칙을 따르는 것이 아니라, 실리콘 적층 방식의 물리적 원리를 재정립함으로써 이 분야에서 명실상부한 선두 주자로 자리매김했습니다. 이러한 지배력의 핵심에는 경쟁업체들이 고수해 왔던 업계 표준 필름 기술에서 과감하게 벗어난 독자적인 MR-MUF(Mass Reflow Molded Underfill) 공정이 있습니다. 이 글에서는 SK 하이닉스가 어떻게 단순화된 에폭시를 주입하여 다른 어떤 회사보다 더 높고 시원하게 칩을 쌓을 수 있었는지, 그리고 이를 통해 인공지능 발전을 저해할 뻔했던 열 방출 문제를 어떻게 해결했는지, 이른바 "액체 열 갑옷"의 여러 겹을 자세히 살펴보겠습니다. 마지막으로, 현재를 넘어 HBM4 로드맵을 살펴보겠습니다. 이 로드맵에서는 메모리와 로직의 경계가 완전히 모호해지며, 차세대 "하이브리드 본딩"이 평범한 메모리 다이를 컴퓨팅 프로세스에서 지능적이고 능동적인 참여자로 어떻게 변화시킬지 탐구할 것입니다.
AI 시대에 필수적인 HBM 기술이란
고대역폭 메모리(HBM)가 기존 DDR 또는 GDDR 표준과 근본적으로 다른 아키텍처적 특징은 고주파 신호 전송을 배제하고 "실리콘 관통 비아(TSV)를 통한 대규모 병렬 처리"를 채택했다는 점입니다. 일반적인 GDDR6 칩은 매우 높은 클럭 속도로 작동하는 비교적 좁은 32비트 버스를 통해 GPU와 통신하는 반면(이에 따라 상당한 열이 발생하고 신호 품질이 저하됨), HBM은 스택당 1,024비트의 "광범위한 I/O" 인터페이스를 사용합니다. 레인 폭이 32배로 증가함에 따라 SK하이닉스는 클럭 속도를 크게 낮추면서도 전체 대역폭을 기하급수적으로 높일 수 있습니다. 이를 가능하게 하는 물리적 메커니즘은 TSV, 즉 실리콘 다이 자체에 뚫린 미세한 수직 터널입니다. HBM3E 스택에서는 수천 개의 구리로 채워진 채널이 8개 또는 12개의 DRAM 층을 관통하여 저장 셀에서 프로세서까지의 전기적 경로를 단 몇 밀리미터로 단축합니다. 이러한 "수직 통합"은 회로의 "기생 정전 용량"과 저항(RC 지연)을 획기적으로 줄여 기존의 평면 메모리 아키텍처로는 달성할 수 없었던 전력 효율(비트당 피코줄 단위)로 데이터를 전송할 수 있게 합니다. 하지만 AI 시대에 HBM이 필수적인 이유는 TSMC의 CoWoS(Chip-on-Wafer-on-Substrate)와 같은 기술을 포함한 "2.5D 첨단 패키징" 생태계와 구조적으로 연결되어 있습니다. HBM은 표준 머더보드 슬롯에 장착할 수 없으며, GPU 로직 다이 바로 옆에 있는 "실리콘 인터포저"에 물리적으로 장착해야 합니다. 이 인터포저는 HBM의 1,024개 데이터 핀을 GPU에 연결하는 고밀도 배선을 포함하는 미세한 다리 역할을 합니다. 이러한 근접성은 대규모 언어 모델(LLM)에서 발생하는 "폰 노이만 병목 현상" 문제를 해결하는 데 매우 중요합니다. GPT-4처럼 1조 개 이상의 매개변수를 가진 모델을 학습시킬 때, 시스템은 수 기가바이트에 달하는 가중치 데이터를 GPU의 로직 코어에 끊임없이 입력해야 합니다. 만약 이 데이터가 표준 PCB 트레이스(수 센티미터 길이)를 따라 이동해야 한다면, 지연 시간으로 인해 계산이 중단될 것입니다. SK 하이닉스의 HBM3E는 본질적으로 L4 캐시 역할을 하며, 로직 영역에 매우 가깝게 위치하여 GPU가 메모리를 자체 통합 부분으로 인식합니다. 이처럼 극미세 한 거리에서도 신호 무결성이 유지되므로 단일 스택당 최대 1.15TB/s의 대역폭을 구현할 수 있으며, 이는 AI 추론의 "데이터 로딩" 단계를 교통 체증에서 순간 이동으로 바꿔주는 처리 속도입니다. 또한 SK 하이닉스의 HBM은 최신 데이터 센터의 "와트당 메모리 용량" 제약 조건에 의해 필수적입니다. AI 모델이 기하급수적으로 확장됨에 따라 메모리 서브 시스템의 물리적 공간이 제약 요인이 되고 있습니다. NVIDIA H100 GPU 하나에는 80GB의 HBM3 메모리가 장착되어 있습니다. GDDR6를 사용하여 동일한 용량과 대역폭을 구현하려면 피자 상자 크기의 회로 기판이 필요하며 전력 소모량은 세 배에 달해 서버 랙의 열 스로틀링 한계에 즉시 도달하게 됩니다. SK하이닉스는 "12층" 및 "16층" 적층 기술 분야에서 선도적인 위치를 차지하며, 고정된 크기(JEDEC 표준) 내에서 최대 밀도 구현을 가능하게 합니다. 웨이퍼 두께를 30마이크로미터 미만으로 얇게 만들고, 앞서 언급한 MR-MUF 패키징을 활용하여 초고밀도 적층 구조에서 발생하는 열을 효과적으로 방출함으로써, SK하이닉스는 메모리 용량을 수직으로 확장할 수 있는 유일한 물리적 솔루션을 제공합니다. 이러한 "부피 효율성"은 AI 시대의 초석입니다. HBM이 없다면 AI 슈퍼컴퓨터의 물리적 크기와 전력 요구량이 감당할 수 없는 수준으로 급증하여 차세대 기초 모델 학습이 열역학적으로 불가능해질 것입니다.
경쟁사를 능가하는 MR-MUF 프로세스의 비밀
SK하이닉스가 HBM 시장에서 수율 우위를 점하는 근본적인 비결은 삼성이나 마이크론과 같은 경쟁사들이 사용하는 "열 압축(TC)" 방식과 달리 "대량 리플로우(MR)" 방식의 물리적 차이에 있습니다. 경쟁사의 TC-NCF 공정에서는 스택에 추가되는 모든 DRAM 다이를 본딩 헤드를 개별적으로 압착하고 가열하여 비전도성 필름(NCF)을 녹여야 합니다. 이 "순차적 열 충격"이란 12층 적층 구조에서 가장 아래쪽 다이가 본딩 헤드의 엄청난 무게와 고온에 12번이나 반복적으로 노출되는 것을 의미합니다. 이러한 반복적인 스트레스는 초박형 실리콘에 미세한 균열을 일으키거나 "열 피로"로 인해 솔더 접합부를 손상할 수 있습니다. 반면 SK 하이닉스의 MR-MUF는 전체 스택을 임시 마이크로 본딩으로 사전 조립한 후 대형 리플로우 오븐을 단 한 번만 통과시키는 "플립칩" 방식을 사용합니다. 이 "단일 열 이벤트"는 납땜 범프가 동시에 녹으면서 용융 금속의 표면 장력을 이용하여 칩을 완벽하게 "자체 정렬"시켜 깨지기 쉬운 웨이퍼의 구조적 무결성을 유지합니다. 이를 통해 기계식 프레스의 강압적인 힘 없이도 미세한 정렬 불량을 자연스럽게 보정합니다. 두 번째 경쟁 우위는 몰드 언더필(MUF) 자체의 "소재 과학", 특히 절연 NCF 필름에 비해 우수한 점입니다. NCF 소재는 효과적으로 열 차단막 역할을 하여 DRAM 셀에서 발행되는 열을 스택 내부에 가둡니다. SK하이닉스는 이 필름을 실리카(SiO2)와 알루미나 미세 충전재가 고농도로 첨가된 "액상 에폭시 몰딩 컴파운드"(EMC)로 교체했습니다. 이 소재는 유체 형태로 주입되기 때문에 고체 필름보다 훨씬 더 많은 열전도성 세라믹 입자를 함유할 수 있습니다. 이 액체가 경화되면 밀도가 높고 돌과 같은 물질로 굳어져 칩 사이의 틈을 높은 열전도율을 가진 물질로 채웁니다.これにより 전체 HBM 모듈이 하나의 통합된 열 블록으로 변환되어 패키지 케이스를 통해 열을 NCF 기반 제품보다 36% 더 효율적으로 방출할 수 있습니다. 이러한 "에폭시 방열판" 효과는 SK 하이닉스 HBM3 모듈이 경쟁사 제품에서 흔히 발생하는 열 스로틀링 한계(T-접합부 최대 온도)에 도달하지 않고 더 높은 클럭 속도를 유지할 수 있는 주된 이유입니다. 하지만 공정의 진정한 "비결"은 액체 주입의 고유한 약점인 변형과 공극을 해결하기 위해 개발된 "고급 MR-MUF" 기술에 있습니다. 12층 및 16층 적층을 위해 실리콘 웨이퍼를 30마이크로미터 미만으로 얇게 만들면 종이처럼 유연해지고 냉각 과정에서 말리거나 휘어지기 쉽습니다. SK 하이닉스 엔지니어들은 "뒤틀림 제어 링"과 "진공 주입 챔버"를 개발하여 이 문제를 해결했습니다. 칩에 압력을 가하는 방식(균열 위험 있음) 대신, 이 시스템은 웨이퍼 캐리어의 외부 "링 프레임"에 기계적 압력을 가하여 에폭시가 경화되는 동안 기판을 마치 북의 가죽처럼 극도의 장력으로 고정합니다. 동시에, 주입은 거의 진공 상태에서 이루어지므로 언더필에 기포(공극)를 발생시키는 공기 저항이 제거됩니다. 이를 통해 점성이 있는 에폭시가 다이 사이의 미세한 10미크론 틈으로 모세관 현상을 이용하여 즉시 그리고 완벽하게 채워집니다. 그 결과, 공간이 전혀 없고 완벽하게 평평한 패키지가 만들어져 뛰어난 신뢰성을 제공합니다. 이는 후속적인 GPU 인터포저에 대한 고온 납땜 과정에서 공기 방울이 팽창하거나 폭발할 가능성이 없기 때문입니다.
HBM3E에서 HBM4로의 기술 로드맵
현행 HBM3E 표준에서 차기 HBM4로의 전환은 단순한 반복적인 속도 향상이 아니라 인터페이스 버스 폭을 중심으로 한 근본적인 "아키텍처 변혁"을 의미합니다. HBM3E는 기존 1024비트 인터페이스의 한계를 뛰어넘어 핀당 8Gbps(총 1.15TB/s)의 속도를 달성했지만, "신호 무결성 한계"에 빠르게 접근하고 있습니다. 1024비트 버스에서 주파수를 높이면 심각한 노이즈 및 전력 손실이 발생합니다. 따라서 HBM4 규격은 인터페이스 폭을 2048비트로 두 배로 늘리는 획기적인 변화를 가져왔습니다. 이러한 전략적인 인터페이스 폭 확대를 통해 SK 하이닉스는 클럭 주파수를 낮추거나 유지하면서 스택당 총처리량을 1.5TB/s 이상으로 두 배로 늘릴 수 있었습니다. 주파수 부담을 줄임으로써 비트당 전송 전력 소비량이 많이 감소합니다. 하지만 이에 따라 "핀 밀도 위기"가 발생합니다. 동일한 초소형 공간에 2048개의 데이터 경로를 담으려면 현재의 기계적 접합 기술의 한계를 뛰어넘는 수준의 마이크로 범프 피치 스케일링(20미크론 미만)이 필요하며, 이는 메모리 스택과 GPU 인터포저 간의 물리적 상호 연결을 완전히 재설계해야 함을 의미합니다. HBM4 로드맵에서 가장 혁신적인 요소는 "베이스 다이의 분해"로, 이는 SK하이닉스가 TSMC와 같은 로직 파운드리와 직접 협력해야 하는 역사적인 전환점을 의미합니다. 이전 세대(HBM3E까지)에서는 스택의 가장 아래쪽 레이어인 "베이스 다이" 또는 버퍼 다이를 SK 하이닉스가 자체적인 기존 메모리 공정 노드를 사용하여 제조했습니다. 이는 단순한 교통경찰처럼 신호를 라우팅하는 역할을 했습니다. HBM4의 경우, 이 베이스 다이는 TSMC의 첨단 로직 노드(12nm 또는 5nm 공정)에서 제조될 예정입니다. 이러한 "파운드리 얼라이언스"를 통해 베이스 다이는 수동 라우터에서 능동적인 "지능형 컨트롤러"로 발전할 수 있습니다. NVIDIA나 Google과 같은 고객은 이제 특정 오류 수정 알고리즘, 보안 암호화 또는 사전 처리 로직과 같은 맞춤형 IP 블록을 이 로직 베이스 다이에 직접 내장하도록 요청할 수 있습니다. 이로써 GPU와 메모리 간의 경계가 모호해집니다. HBM4 스택은 단순히 범용 스토리지 역할을 하는 것이 아니라 프로세서 아키텍처에 기능적으로 통합되는 맞춤형 가속기가 됩니다. 마지막으로, HBM4의 물리적 조립은 솔더 범프 시대의 종말과 "하이브리드 본딩"(Cu-Cu 본딩) 시대의 도래를 알리는 신호탄입니다. 수조 개의 파라미터를 가진 모델의 용량 요구를 충족하기 위해 적층 높이가 16층(16-Hi)까지 증가함에 따라, 표준 패키지 높이 제한(720마이크로미터)은 물리적으로 극복하기 어려운 한계가 되었습니다. 기존의 마이크로 범프는 구리 기둥 사이에 솔더 캡을 사용하여 층당 약 10~15 마이크로미터의 수직 높이를 추가하고 접합부에 전기 저항을 발생시킵니다. 하이브리드 본딩은 솔더를 완전히 제거합니다. 이 공정은 다이의 구리 표면을 거의 원자 수준으로 매끄럽게 연마한 후 유전체 확산과 구리 팽창을 이용하여 직접 접합하는 방식입니다. 이러한 "범프리스(Bumpless)" 통합 방식은 사실상 갭이 없는 인터페이스를 구현하여 전체 스택 높이를 크게 줄이고 열전달을 극대화합니다. SK하이닉스는 자사의 독자적인 MR-MUF 기술을 가능한 한 최대한 확장할 계획이지만(초기 12-Hi HBM4에 적용될 가능성이 높음), 미래의 16-Hi 초고밀도 구성에서는 코어 과열 없이 대규모 2048비트 인터페이스에 필요한 전기적 성능을 유지하기 위해 하이브리드 본딩으로의 전환이 불가피할 것이다.
