AI dễ bị 'lừa' bởi các tình huống thực tế, bất chấp các sổ tay hướng dẫn dài

Các nhà nghiên cứu vừa công bố HANDBOOK.md, một AI benchmark mới mô phỏng cách nhân viên doanh nghiệp tuân thủ sổ tay công ty. Khác với các bài kiểm tra truyền thống chỉ đo khả năng hoàn thành tác vụ, HANDBOOK.md đặt AI vào môi trường làm việc giả lập với email, chat, lịch, và hệ thống quản lý công việc. Mỗi tác vụ yêu cầu AI tuân theo một quy trình vận hành chuẩn dài từ 20 đến 124 trang, thuộc 5 lĩnh vực: tài chính, thanh toán y tế, bảo hiểm, logistics và nhân sự.

Kết quả kiểm tra 30 cấu hình mô hình cho thấy tỷ lệ thành công cao nhất chỉ đạt 36,2% theo thang điểm nghiêm ngặt (yêu cầu mọi tiêu chí đều đúng). Hầu hết các mô hình tiên tiến nhất hiện nay đều dưới 25%. Những lỗi phổ biến bao gồm: AI để một yêu cầu nghe có vẻ hợp lý trong môi trường 'ghi đè' lên chính sách cố định, thực hiện một bước kiểm tra rồi hành động ngược lại kết quả, hoặc quên các chi tiết quy tắc sau thời gian dài tương tác. Diễn biến này cho thấy công nghệ này còn nhiều hạn chế trong những tác vụ phức tạp đòi hỏi tuân thủ chính sách chặt chẽ, một thách thức lớn cho các doanh nghiệp muốn triển khai AI trong vận hành thực tế.