Samsung vừa giao mẫu HBM4E đầu tiên trên thế giới cho khách hàng lớn, đạt băng thông 3,6 terabyte mỗi giây (TB/s) trên một chồng bộ nhớ duy nhất. Với nhu cầu bộ nhớ AI đang tăng theo cấp số nhân, HBM4E là bước nhảy lớn tiếp theo trong cuộc đua chip nhớ. Vậy một chồng HBM4E 12 lớp thực sự vận hành ra sao?

Bài toán băng thông của AI

GPU AI hiện đại như NVIDIA H200 hay AMD MI300X đều bị giới hạn bởi tốc độ đọc dữ liệu từ bộ nhớ, không phải năng lực tính toán. Một mô hình ngôn ngữ lớn (LLM) cần nạp hàng tỷ tham số từ DRAM vào GPU mỗi lần sinh token. Nếu băng thông thấp, GPU ngồi chờ dữ liệu thay vì tính toán. HBM (High Bandwidth Memory) ra đời để giải quyết chính xác vấn đề này: thay vì đặt chip DRAM bên cạnh GPU trên bo mạch, HBM xếp chồng nhiều lớp DRAM lên nhau và kết nối trực tiếp với GPU qua một lớp silicon trung gian, gọi là interposer.

Cấu trúc xếp chồng 12 lớp

HBM4E của Samsung gồm 12 lớp DRAM (die) xếp chồng theo chiều đứng, mỗi lớp được sản xuất trên quy trình 1c (thế hệ 10nm thứ sáu). Các lớp này được kết nối với nhau bằng hàng nghìn đường dẫn dọc gọi là TSV (Through-Silicon Via), những lỗ xuyên silicon nhỏ hơn sợi tóc cho phép dữ liệu di chuyển theo chiều thẳng đứng giữa các lớp. Có thể hình dung đó là một tòa nhà 12 tầng: mỗi tầng là một lớp bộ nhớ, còn TSV là hàng nghìn thang máy tốc hành chạy từ tầng 1 lên tầng 12. Kết quả là dung lượng đạt 48 GB mỗi chồng, tăng hơn 30% so với thế hệ trước.

Tốc độ pin và băng thông tổng

Mỗi pin (chân tín hiệu) trên HBM4E hoạt động ổn định ở 14 Gbps và có thể mở rộng lên 16 Gbps. Với 2.048 pin dữ liệu trên mỗi chồng (giao diện 2048-bit), băng thông lý thuyết đạt: 16 Gbps x 2.048 pin / 8 = 4.096 GB/s, tức khoảng 4 TB/s. Samsung công bố con số thực tế 3,6 TB/s, tức hiệu suất khoảng 88%, mức rất cao cho bộ nhớ sản xuất hàng loạt. Con số này cao hơn 20% so với HBM4 thế hệ trước.

Hiệu suất năng lượng và tản nhiệt

Xếp 12 lớp DRAM chạy ở tốc độ cao tạo ra nhiệt lượng lớn, và nhiệt là kẻ thù số một của chip nhớ. Samsung xử lý vấn đề này bằng cách tối ưu cấu trúc đóng gói, giúp hiệu suất năng lượng tăng 16% và nhiệt trở giảm hơn 14% so với thế hệ trước. Điều này đặc biệt quan trọng vì GPU AI thế hệ tiếp theo sẽ tích hợp nhiều stack HBM hơn trên cùng một gói chip, tổng nhiệt lượng tăng theo.

Cuộc đua tiếp theo

Samsung dự kiến mở rộng dòng HBM4E với phiên bản 32 GB (8 lớp) và 64 GB (16 lớp). SK Hynix hiện chưa giao mẫu HBM4E, khiến Samsung tạm nắm lợi thế dẫn trước khoảng sáu tháng. Với chip AI thế hệ tiếp theo từ NVIDIA, AMD và các nhà sản xuất khác đều cần HBM4E, cuộc đua bộ nhớ AI đang nóng hơn bao giờ hết.