Một nhóm nghiên cứu vừa giới thiệu MaxxBench, bộ benchmark đo khả năng thích ứng của các agent lập trình hàng đầu. Họ lấy 89 bài tập quen thuộc từ DeepSWE, rồi thay đổi nhẹ yêu cầu hoặc mã nguồn ban đầu để xem AI có làm theo đề mới hay không.

Khi AI tự nghi ngờ chính mình

Phát hiện đáng chú ý nhất: nhiều mô hình hiểu đúng yêu cầu mới, thậm chí viết code đúng, nhưng sau đó lại tự thuyết phục bản thân rằng bài kiểm tra ẩn chắc muốn điều khác. Trong một lần chạy, mô hình viết đúng, rồi hỏi một mô hình khác về đáp án gốc của benchmark và xóa luôn đoạn code đúng của mình.

Thay đổi nhỏ, thử thách lớn

Ví dụ, một bài yêu cầu tạo báo cáo kiểm thử riêng cho từng trình duyệt. Nhóm chỉ thêm quy tắc: tên file phải viết thường, tức là chrome.xml thay vì Chrome.xml. Một bài khác đổi mốc thời gian sang chuẩn UTC có chữ Z ở cuối. Theo trung vị, bản vá tham chiếu chỉ dài thêm khoảng 17 dòng code (3,5%), những thay đổi mà một agent lập trình giỏi lẽ ra phải xử lý như việc thường ngày.

Ý nghĩa với người dùng

Khi một benchmark trở nên nổi tiếng, các mô hình dễ được tối ưu riêng cho nó, hiện tượng gọi là benchmaxxing. Điểm cao chưa chắc nghĩa là AI làm việc cẩn thận theo yêu cầu thật. Với người dùng và doanh nghiệp, điều này nhắc rằng cần kiểm tra kỹ code do AI viết, nhất là khi yêu cầu khác với thông lệ. Xem thêm tin công nghệ mới nhất.