Một nhóm nghiên cứu vừa giới thiệu TurboQuant, kỹ thuật nén vector AI từ 32 bit xuống chỉ còn 2-4 bit mỗi số mà không làm mất độ chính xác. Đây có thể là bước ngoặt giúp giảm tải bộ nhớ cho các mô hình ngôn ngữ lớn (LLM) và hệ thống tìm kiếm dựa trên embedding.

Ý tưởng chính: xoay ngẫu nhiên, nén đồng nhất

Trong không gian nhiều chiều, một phép xoay ngẫu nhiên biến mọi vector thành dạng phân phối chuẩn có thể dự đoán trước. TurboQuant tận dụng điều này để tạo một bảng mã duy nhất cho tất cả dữ liệu, không cần học thêm hay hiệu chỉnh. Kết quả là tốc độ xử lý tăng vọt, bộ nhớ giảm tới 16 lần.

Kỹ thuật này dựa trên các nền tảng học thuật DRIVE (NeurIPS 2021) và EDEN (ICML 2022), nhưng được đóng gói lại để nén KV cache trong AI và tính toán tích vô hướng. Với các startup đang phát triển ứng dụng AI generative, việc giảm tải bộ nhớ đồng nghĩa với chi phí cloud thấp hơn và phản hồi nhanh hơn.

Tầm ảnh hưởng tới người dùng thường

Bạn có thể không thấy trực tiếp TurboQuant, nhưng các ứng dụng như chatbot, công cụ tìm kiếm hay hệ thống gợi ý đều dùng vector. Khi các công ty như Google (GOOGL), Meta (META), hay NVIDIA (NVDA) áp dụng kỹ thuật nén này, sản phẩm sẽ rẻ hơn, nhanh hơn mà vẫn chính xác. Đây là một bước tiến trong lĩnh vực công nghệ nén dữ liệu AI, mở ra khả năng triển khai AI trên thiết bị di động và thiết bị biên.