Reflection AI vừa ký hợp đồng trả SpaceX 150 triệu USD mỗi tháng để sử dụng chip NVIDIA GB300 tại trung tâm dữ liệu Colossus 2 ở Memphis, Tennessee. Thương vụ trị giá tới 6,3 tỷ USD nếu kéo dài đến 2029, nối tiếp các hợp đồng tương tự SpaceX đã ký với Anthropic (1,25 tỷ USD/tháng) và Google (920 triệu USD/tháng). Nhưng điều gì biến một nhà kho đầy chip thành cỗ máy huấn luyện AI hàng tỷ tham số?

Từ GPU đơn lẻ đến cluster: Bài toán song song hóa

Một GPU đơn lẻ, dù mạnh đến đâu, cũng không đủ bộ nhớ để chứa toàn bộ mô hình ngôn ngữ lớn. Mô hình frontier hiện tại có hàng nghìn tỷ tham số, mỗi tham số chiếm 2 byte ở định dạng FP16. Tổng cộng cần hàng terabyte RAM, trong khi một GPU cao cấp chỉ có 192 GB HBM. Giải pháp: Chia mô hình ra nhiều GPU, mỗi GPU giữ một phần.

Có ba chiến lược song song hóa chính. Data parallelism sao chép toàn bộ mô hình lên mỗi GPU, rồi chia dữ liệu huấn luyện thành các batch nhỏ. Mỗi GPU xử lý batch riêng, tính gradient, sau đó tất cả tổng hợp gradient qua thao tác gọi là all-reduce. Cách này đơn giản nhưng lãng phí bộ nhớ vì mỗi GPU phải chứa toàn bộ bản sao mô hình.

Tensor parallelism giải quyết vấn đề đó bằng cách cắt từng ma trận trọng số thành các mảnh nhỏ. Ví dụ, một lớp attention có ma trận 12.288 x 12.288 có thể chia thành 8 phần, mỗi GPU tính một phần phép nhân ma trận rồi trao đổi kết quả. Tốc độ giao tiếp giữa các GPU trở thành yếu tố sống còn, đây là lý do NVIDIA phát triển NVLink với băng thông lên tới 1,8 TB/s giữa các GPU trong cùng node.

Pipeline parallelism chia mô hình theo chiều dọc: GPU 1 xử lý các lớp 1 đến 10, GPU 2 xử lý lớp 11 đến 20. Dữ liệu chảy qua như dây chuyền sản xuất. Nhược điểm là tạo ra "bọt khí" (pipeline bubble), khoảng thời gian GPU đầu tiên đã xong nhưng GPU cuối vẫn đang tính. Kỹ thuật micro-batching giảm bọt khí bằng cách chia mỗi batch thành nhiều micro-batch nhỏ hơn, giữ cho mọi GPU luôn bận.

Mạng liên kết: Huyết mạch của cluster

Trong thực tế, các hệ thống lớn như Colossus kết hợp cả ba chiến lược. Bên trong mỗi server (thường 8 GPU), tensor parallelism chạy qua NVLink tốc độ cao. Giữa các server, pipeline parallelism và data parallelism chạy qua mạng InfiniBand hoặc Ethernet tốc độ 400-800 Gbps. Topology mạng phổ biến là fat-tree hoặc rail-optimized, thiết kế sao cho mọi cặp node đều có băng thông gần như nhau.

Tại quy mô hàng chục nghìn GPU, độ tin cậy trở thành thách thức lớn. Trung bình cứ vài giờ lại có một GPU hoặc liên kết mạng gặp lỗi. Hệ thống checkpoint định kỳ lưu trạng thái huấn luyện xuống ổ đĩa, để khi có sự cố, cluster chỉ cần khởi động lại từ checkpoint gần nhất thay vì bắt đầu lại từ đầu.

Tại sao SpaceX trở thành nhà cho thuê GPU?

SpaceX xây Colossus ban đầu để phục vụ nhu cầu nội bộ của xAI, công ty AI do ông Elon Musk sáng lập. Nhưng với quy mô khổng lồ, lượng GPU dư thừa tạo cơ hội kinh doanh. Reflection AI, startup mã nguồn mở do hai cựu nghiên cứu viên Google DeepMind sáng lập với định giá 25 tỷ USD, cần sức mạnh tính toán để huấn luyện mô hình frontier cạnh tranh với OpenAI và Anthropic, nhưng không muốn tự xây trung tâm dữ liệu. Mô hình cho thuê GPU theo tháng giải quyết bài toán đó: Trả tiền ngay, dùng ngay, và có thể hủy hợp đồng sau 90 ngày nếu chiến lược thay đổi.

Cuộc đua AI hiện tại không chỉ là cuộc đua thuật toán mà còn là cuộc đua hạ tầng. Ai có nhiều GPU hơn, kết nối nhanh hơn, và vận hành ổn định hơn, người đó giành lợi thế trong việc huấn luyện mô hình thế hệ tiếp theo.