Một nghiên cứu mới từ Đại học Wisconsin-Madison đang gây chấn động giới phát triển AI. SlopCodeBench, benchmark do phòng thí nghiệm của @GOrlanski tại UW-Madison xây dựng, không chỉ đơn giản là một bài kiểm tra lập trình thông thường mà là thước đo thực tế nhất từ trước đến nay cho khả năng làm việc liên tục của AI.

AI “thông minh” nhưng vẫn thất bại trong dự án dài hạn

Khác với các benchmark cũ vốn đưa toàn bộ yêu cầu ngay từ đầu, SlopCodeBench bắt AI phải xử lý dự án theo từng chặng (checkpoint). Mỗi checkpoint chỉ tiết lộ một phần công việc mới, buộc mô hình phải nhớ ngữ cảnh và mở rộng mã nguồn dần dần. Kết quả thật sự gây sốc: GPT-5.4 chỉ đạt 11% và Opus 4.6 đạt 17% theo tiêu chí “vượt qua nghiêm ngặt” (mọi bài kiểm thử cũ và mới đều đạt).

Khi tác giả bài viết thử nghiệm Opus 5 trên một tập con gồm 17 checkpoint (từ dễ đến khó), kết quả chỉ nhỉnh hơn đôi chút, 24%. Con số này thấp hơn nhiều so với kỳ vọng về một model “siêu AI” có khả năng thay thế lập trình viên. Đáng chú ý, các model có xu hướng viết code dài dòng và phức tạp hơn khi qua nhiều checkpoint, với Opus 5 tạo ra lượng hàm gấp 5 lần Opus 4.8.

Tác động tới người dùng thường: Đừng vội giao phó hoàn toàn cho AI

Kết quả từ SlopCodeBench cho thấy dù các mô hình như Claude Opus 5 hay GPT-5.4 có thể viết mã rất ấn tượng trong tác vụ ngắn hạn, nhưng khi làm một dự án thực tế kéo dài nhiều ngày, chúng vẫn cần con người giám sát chặt chẽ. Những startup AI đang đầu tư hàng tỷ USD vào tự động hóa lập trình sẽ phải xem lại chiến lược của mình.

Nghiên cứu này là minh chứng rõ ràng nhất cho thấy cuộc đua công nghệ AI lập trình vẫn còn xa vạch đích. Dù các hãng lớn như Anthropic hay OpenAI liên tục tung ra mô hình mới, nhưng benchmark thực tế mới này cho thấy chúng ta vẫn chưa thể để AI “tự lái” các dự án phần mềm phức tạp.