Khi Cerebras chuẩn bị IPO với định giá 26,6 tỷ USD và ký hợp đồng 10 tỷ USD với OpenAI, câu hỏi đặt ra là: tại sao hãng cần một con chip khổng lồ bằng cả tấm wafer, thay vì ghép nhiều GPU nhỏ? Câu trả lời nằm ở bài toán băng thông bộ nhớ, nút thắt cổ chai thực sự của suy luận AI hiện đại.

Vấn đề: GPU bị "đói" dữ liệu.

Một mô hình ngôn ngữ 70 tỷ tham số cần khoảng 140 GB bộ nhớ chỉ để lưu trọng số. GPU H100 của NVIDIA có 80 GB HBM3, nghĩa là bạn cần ít nhất 2 GPU, kết nối qua NVLink hoặc InfiniBand. Mỗi lần tạo ra một token mới, toàn bộ trọng số phải được đọc từ HBM, nên vẫn tốn thời gian dù tốc độ đọc đạt 3,35 TB/giây. Khi ghép nhiều GPU, dữ liệu phải di chuyển giữa các chip qua bus ngoại vi, chậm hơn hàng trăm lần so với truy cập nội bộ. Đây là lý do độ trễ của quá trình suy luận thường bị giới hạn bởi băng thông bộ nhớ, chứ không phải năng lực tính toán.

Giải pháp: Một chip duy nhất, toàn bộ SRAM trên cả wafer.

Cerebras Wafer-Scale Engine thế hệ 3 (WSE-3) giữ nguyên tấm wafer silicon 300 mm, thay vì cắt nhỏ thành hàng trăm chip riêng lẻ. Kết quả là một bộ xử lý duy nhất chứa 4 nghìn tỷ transistor, 900.000 lõi tính toán và 44 GB SRAM tích hợp ngay trên chip. Con số 44 GB SRAM nghe có vẻ ít hơn 80 GB HBM của H100, nhưng SRAM nhanh hơn HBM khoảng 10 lần và nằm ngay cạnh lõi xử lý, không cần đi qua bus ngoài. Băng thông bộ nhớ tổng cộng đạt 21 petabyte/giây, gấp hàng nghìn lần một GPU đơn lẻ.

Kiến trúc lưới hai chiều và wavelet

900.000 lõi xử lý được kết nối theo dạng lưới hình chữ nhật 2 chiều trên mặt wafer. Mỗi lõi có thể gửi tin nhắn 32-bit (gọi là wavelet) đến lõi kề bên trong đúng một chu kỳ xung nhịp. Không có bus chia sẻ, không có switch trung gian. Đây giống như một thành phố mà mọi tòa nhà đều có cửa thông trực tiếp sang nhà bên cạnh, thay vì phải đi ra đường lớn rồi quay về.

Khi chạy inference, WSE thực thi từng layer của mạng neural một cách tuần tự: toàn bộ 900.000 lõi cùng xử lý một layer cho tất cả dữ liệu đầu vào, xong mới chuyển sang layer tiếp theo. Vì trọng số đã nằm sẵn trong SRAM phân tán khắp wafer, hệ thống không cần bước nạp trọng số từ bộ nhớ ngoài. Kết quả: Cerebras đạt 2.100 token mỗi giây trên mô hình 70 tỷ tham số, nhanh hơn nhiều lần so với cụm GPU tương đương.

Thách thức: Tỷ lệ thành phẩm và khuyết tật

Vấn đề lớn nhất của wafer-scale là tỷ lệ thành phẩm (yield). Trên tấm wafer 300 mm, luôn có hàng trăm đến hàng nghìn điểm khuyết tật do bụi hoặc lỗi quang khắc. Nếu bạn cắt wafer thành 100 chip nhỏ, chỉ vài chip bị hỏng, còn lại vẫn dùng được. Nhưng nếu toàn bộ wafer là một chip, bất kỳ khuyết tật nào cũng có thể khiến cả hệ thống hỏng theo.

Cerebras giải quyết bằng cách thiết kế dư thừa: mỗi vùng trên wafer có thêm lõi dự phòng. Khi phát hiện lõi bị lỗi qua kiểm tra sau sản xuất, hệ thống tự động chuyển sang lõi dự phòng và định tuyến lại kết nối. Đây là kỹ thuật tương tự RAID trong ổ cứng, nhưng áp dụng ở cấp độ transistor.

Cung cấp điện và tản nhiệt

Một thách thức khác là cung cấp điện đều cho toàn bộ bề mặt wafer. WSE-3 tiêu thụ khoảng 15 kW, tương đương 10 máy sưởi gia đình. Cerebras sử dụng hệ thống làm mát bằng nước tích hợp trực tiếp vào tấm đế bên dưới wafer, với hàng nghìn kênh vi mô dẫn nước lạnh qua toàn bộ bề mặt.

Tại sao điều này quan trọng cho tương lai AI

Khi mô hình ngày càng lớn (GPT-5 ước tính hàng trăm tỷ tham số), nhu cầu suy luận tăng theo cấp số nhân. Giải pháp truyền thống là ghép thêm GPU, nhưng mỗi chip bổ sung lại làm tăng chi phí giao tiếp. Wafer-scale loại bỏ hoàn toàn lớp phức tạp này bằng cách biến nhiều chip thành một. Với hợp đồng 10 tỷ USD OpenAI ký với Cerebras cho hạ tầng suy luận, hướng tiếp cận này đang chứng minh giá trị thương mại, thay vì chỉ dừng ở mức thử nghiệm trong phòng thí nghiệm.