Chạy AI tại nhà với hai card đồ họa NVIDIA (NVDA): từ 30 lên 80+ token/giây

Một nhà phát triển đã thành công ghép nối RTX 5080 (16GB) với RTX 3090 (24GB) để chạy mô hình ngôn ngữ lớn Qwen 3.6 phiên bản 27B Q8, đạt tốc độ 80+ token/giây. Trước đó, chỉ dùng một card RTX 3090, anh chỉ đạt ~30 token/giây với bản Q4, rồi 50-60 token/giây khi bật MTP. Nhưng thấy RTX 5080 gần như không hoạt động trong tác vụ AI, anh bắt đầu tìm cách tận dụng cả hai.

Can thiệp BIOS và kernel: không hề đơn giản

Bộ đôi này yêu cầu bo mạch chủ Asus Prime X570-Pro (hỗ trợ chia khe PCIe 16x thành hai khe 8x), kernel phải cài driver nvidia-open (vì hai GPU khác thế hệ, không dùng được bản patch P2P). Quan trọng: phải tắt CSM trong BIOS, bật Above 4G Decoding và Resizable BAR, cài đặt luồng Gen 4 cho cả hai khe. Nếu có hai card giống nhau, nhà phát triển có thể dùng driver đã vá từ dự án open-gpu-kernel-modules để kích hoạt giao tiếp P2P giữa hai GPU, giúp dữ liệu truyền trực tiếp mà không qua CPU, tối ưu tốc độ hơn nữa.

Ý nghĩa với người dùng phổ thông

Thành công này cho thấy người dùng có thể tự xây dựng một hệ thống công nghệ mạnh mẽ để chạy các mô hình AI ngay tại nhà, thay vì phải thuê đám mây đắt đỏ. Ví dụ: với tốc độ 80 token/giây, bạn có thể trò chuyện với chatbot AI, viết email, tóm tắt tài liệu dài hàng nghìn chữ chỉ trong vài giây. Điều này mở ra khả năng cho các startup Việt Nam tiết kiệm chi phí hạ tầng, tận dụng phần cứng cũ (RTX 3090 tân trang) kết hợp với card mới để tăng hiệu năng mà không cần đầu tư server hàng trăm triệu đồng.