Google GOOGL $317.24 (0.0%) Research công bố TurboQuant, thuật toán nén bộ nhớ KV cache của mô hình ngôn ngữ lớn (LLM) xuống chỉ còn 3 bit mỗi phần tử, giảm dung lượng tới 6 lần so với chuẩn FP16 mà không cần huấn luyện lại.

Hiệu suất vượt trội

Ở mức 3,5 bit, TurboQuant giữ nguyên 99,5% độ chính xác attention so với bản gốc. Trên GPU NVIDIA NVDA $188.63 (0.0%) H100, phiên bản 4 bit đạt tốc độ nhanh gấp 8 lần trong tính toán attention logit. Phương pháp sử dụng hai bước: xoay tọa độ PolarQuant kết hợp hiệu chỉnh dư 1 bit bằng QJL.

Ý nghĩa thực tiễn

Với AI ngày càng đòi hỏi bộ nhớ khổng lồ, TurboQuant cho phép chạy mô hình lớn trên phần cứng nhỏ hơn đáng kể. Cộng đồng mã nguồn mở đã nhanh chóng tích hợp vào llama.cpp và vLLM. Bài nghiên cứu sẽ được trình bày chính thức tại hội nghị ICLR 2026 ở Rio de Janeiro ngày 25/4. Công nghệ nén này có thể thay đổi cách triển khai LLM trên quy mô lớn.