Các nhà nghiên cứu vừa giới thiệu δ-mem, một cơ chế bộ nhớ online cực kỳ nhẹ dành cho Large Language Models (LLM). Thay vì mở rộng context window tốn kém hoặc fine-tune lại toàn bộ model, δ-mem chỉ dùng một ma trận trạng thái cố định 8x8 (64 số) để lưu nén lịch sử hội thoại và tạo ra các hiệu chỉnh low-rank cho phép tính attention. Kết quả benchmark cho thấy điểm trung bình tăng lên 1,10 lần so với backbone đóng băng và 1,15 lần so với baseline mạnh nhất không dùng δ-mem. Trên các tác vụ yêu cầu bộ nhớ cao như MemoryAgentBench và LoCoMo, hiệu năng lần lượt tăng 31% và 20%.

Tại sao δ-mem lại quan trọng với người dùng thông thường?

Hiện nay, các chatbot hay trợ lý AI thường 'quên' thông tin sau vài lượt hội thoại. Hãy tưởng tượng bạn dùng ChatGPT để lên kế hoạch du lịch: sau khi hỏi giá vé máy bay, nếu bạn chuyển sang hỏi thời tiết, AI có thể quên mất điểm đến bạn đã chọn. δ-mem giải quyết vấn đề này bằng cách nén toàn bộ lịch sử vào một bộ nhớ nhỏ gọn, giúp AI nhớ chính xác ngữ cảnh dài hạn mà không cần tăng chi phí tính toán. Điều này mở ra khả năng xây dựng các ứng dụng AI thực sự hữu ích cho người dùng phổ thông, như trợ lý mua sắm, hỗ trợ học tập hay quản lý công việc cá nhân.

So sánh với các giải pháp hiện tại

Các phương pháp trước đây như mở rộng context window (ví dụ Gemini của Google (GOOGL) hỗ trợ 1 triệu token) hay sử dụng bộ nhớ ngoài (RAG) đều có hạn chế: chi phí tính toán cao hoặc phải phụ thuộc vào database ngoài. δ-mem là bộ nhớ online hoàn toàn nội bộ, không cần API, không cần fine-tune, vận hành với chi phí gần như bằng 0. Tác giả cho biết: 'Bộ nhớ hiệu quả có thể đạt được thông qua trạng thái online nhỏ gọn kết hợp trực tiếp với tính toán attention, không cần thay thế backbone hay mở rộng context'. Đây là bước tiến quan trọng cho các startup Việt Nam muốn xây dựng chatbot bán hàng, hỗ trợ khách hàng với khả năng nhớ lâu dài mà không đội chi phí cloud.