Một nhóm nghiên cứu vừa công bố HybridAgent, kiến trúc AI mới giúp các LLM agent vừa suy nghĩ hiệu quả hơn, vừa vẫn hành động được trong thế giới thực qua văn bản.

Vấn đề của AI hiện nay

Các AI agent ngày nay phải "nói thành lời" mọi bước suy luận bằng chữ, giống như một học sinh viết ra từng dòng nháp trước khi giải bài. Cách này dễ kiểm tra nhưng tốn token, chậm và đắt. Ngược lại, suy luận ngầm (latent reasoning) diễn ra bên trong mô hình, nhanh hơn nhiều, nhưng không thể gọi công cụ như tìm kiếm hay tính toán, và con người khó biết AI đang nghĩ gì.

Cách HybridAgent giải quyết

HybridAgent cho phép AI tự chuyển qua lại giữa hai chế độ trong cùng một lần xử lý: nghĩ thầm khi cần suy luận sâu, rồi chuyển sang văn bản khi cần dùng công cụ hay trả lời. Một thành phần nhẹ tên HybridLink đảm nhận việc chuyển đổi, còn bộ nhớ làm việc liên tục giữ trọn vẹn thông tin qua nhiều lượt. Điều đáng chú ý là những "ý nghĩ ngầm" này vẫn có thể được kiểm tra trực tiếp.

Kết quả và ý nghĩa

Thử nghiệm trên 11 benchmark về toán, khoa học, y khoa và tìm kiếm, HybridAgent cải thiện hiệu suất 10,4%, giảm 35,5% đến 54,7% token, chạy nhanh gấp 1,8 đến 2,6 lần và tiết kiệm chi phí gấp 2,7 đến 3,7 lần. Với người dùng bình thường, điều này có nghĩa là trợ lý AI rẻ hơn, phản hồi nhanh hơn. Đây là xu hướng đáng theo dõi của ngành công nghệ.

#Latent Reasoning

HybridAgent: AI suy luận bằng "ý nghĩ ngầm", nhanh tới 2,6 lần