Nhóm nghiên cứu từ Moonshot AI vừa công bố Kimi Linear, một kiến trúc linear attention lai lần đầu tiên vượt qua full attention trong các bài kiểm tra công bằng ở nhiều kịch bản, từ ngữ cảnh ngắn, dài cho đến học tăng cường. Đột phá này đánh dấu bước tiến lớn trong việc tối ưu hiệu năng và chi phí tính toán cho các mô hình ngôn ngữ lớn.

Kimi Delta Attention: cơ chế gating tinh vi hơn

Cốt lõi của Kimi Linear là KDA (Kimi Delta Attention), một module attention tuyến tính có khả năng tận dụng bộ nhớ hữu hạn của mạng RNN hiệu quả hơn nhờ cơ chế gating chi tiết hơn Gated DeltaNet. Nhờ thuật toán chunkwise tối ưu, Kimi Linear giảm đáng kể lượng tính toán so với các công thức DPLR thông thường mà vẫn giữ được tính nhất quán với delta rule cổ điển.

Hiệu suất vượt trội, giảm 75% KV cache

Thử nghiệm trên mô hình 3B tham số kích hoạt (tổng 48B tham số) cho thấy Kimi Linear vượt qua Multi-Head Latent Attention (MLA) ở mọi tác vụ, đồng thời giảm đến 75% bộ nhớ đệm KV và tăng thông lượng giải mã lên tới 6 lần với ngữ cảnh 1 triệu token. Điều này đặc biệt quan trọng với các ứng dụng yêu cầu xử lý văn bản dài như chatbot doanh nghiệp hay trợ lý AI.

Open source và kỳ vọng thay thế full attention

Nhóm phát triển đã mở mã nguồn kernel KDA và tích hợp vào vLLM, đồng thời phát hành các bản mô hình được huấn luyện trước và tinh chỉnh theo chỉ dẫn trên Hugging Face. Với kết quả ấn tượng này, Kimi Linear được kỳ vọng là giải pháp thay thế trực tiếp cho full attention, mang đến hiệu suất cao hơn và tiết kiệm tài nguyên hơn cho các hệ thống AI hiện đại. Đây là một bước tiến quan trọng trong lĩnh vực công nghệ và AI.