Một dự án open source mới tên GPU-unlock đang gây chú ý trong cộng đồng Linux: nó giúp card đồ họa NVIDIA (NVDA) dòng RTX 3000 chạy nhanh hơn trong các tác vụ AI mà không cần mua phần cứng mới.

Mở khóa tốc độ bị giới hạn

Các card như RTX 3090 Ti vốn bị hãng giới hạn một nửa tốc độ xử lý phép tính FP/BF16 khi cộng dồn vào FP32, để phân biệt với dòng chuyên nghiệp đắt tiền hơn. Công cụ này là một kernel module trên Linux, chạy trước khi driver chính thức của NVIDIA khởi động và gỡ giới hạn đó. Nó hỗ trợ các chip GA102, GA103, GA104 và GA106.

Điểm hay là bạn không phải vá driver mỗi lần NVIDIA ra bản cập nhật, vì driver gốc vẫn được giữ nguyên.

Ai được lợi?

Theo báo cáo từ người dùng, các tác vụ nặng về ma trận được cải thiện rõ rệt: xử lý prompt đầu vào của LLM nhanh hơn 14 đến 36%, cùng với diffusion và FlashAttention. Còn phần sinh chữ của LLM, vốn bị giới hạn bởi băng thông bộ nhớ, gần như không đổi. Các báo cáo có so sánh đầu ra cho biết kết quả giống hệt từng bit trước và sau khi mở khóa.

Với những ai tự chạy AI tại nhà, đây là cách tận dụng tốt hơn card đã có. Bạn có thể tìm hiểu thêm về công nghệ và AI trên VnRead.