Cộng đồng open source vừa đón nhận một hướng dẫn kỹ thuật ấn tượng: thiết lập cụm hai nút AMD Strix Halo kết nối qua Intel E810 (RoCE v2) để chạy distributed inference với vLLM. Bài viết trên GitHub đã thu hút sự quan tâm lớn từ giới developer. Không chỉ là một mẹo cài đặt, đây là bước tiến đưa AI chạy trên phần cứng tiêu dùng trở nên khả thi hơn bao giờ hết.

Cụm Strix Halo hoạt động thế nào?

AMD (AMD) Strix Halo là APU với bộ nhớ thống nhất 128GB, thay thế GPU rời đắt đỏ. Để chạy các mô hình lớn hơn dung lượng một chip, kỹ thuật Tensor Parallelism (TP) chia nhỏ mô hình ra nhiều node. Ở đây, hai máy Framework Desktop Mainboard giao tiếp qua Intel E810 100GbE dùng RoCE v2, một giao thức RDMA giúp giảm độ trễ từ 70-100µs (TCP/IP thường) xuống chỉ còn ~5µs. Nhờ đó, hai node hoạt động như một máy duy nhất, đẩy tốc độ sinh token lên mức tương tác thực tế.

Tại sao điều này quan trọng?

Trước đây, muốn chạy một mô hình 70B tham số, bạn phải bỏ ra hàng chục nghìn USD mua GPU NVIDIA (NVDA) như H100. Cụm Strix Halo + vLLM mở ra hướng đi mới: dùng phần cứng giá rẻ hơn, dễ kiếm hơn, nhưng vẫn đạt hiệu năng cao nhờ RDMA. Hướng dẫn đi kèm script tự động refresh_toolbox.sh giúp cài đặt container hỗ trợ RCCL và RDMA chỉ trong vài phút. Điều này hạ thấp rào cản cho startup và nhà nghiên cứu AI muốn xây dựng hệ thống inference nội bộ mà không phụ thuộc đám mây.

Bạn có thể xem thêm các tin tức công nghệ mới nhất và cập nhật xu hướng AI hàng ngày tại VnRead. Đây là minh chứng cho sức mạnh của open source: khi cộng đồng cùng nhau tối ưu, những công nghệ tưởng chừng chỉ dành cho phòng lab lớn lại trở nên gần gũi với mọi người.