Phép thử SlopCodeBench vừa công bố kết quả mới cho thấy các AI viết code hàng đầu vẫn còn rất xa mức hoàn hảo. Mô hình GPT-6 Astra đứng đầu với tỷ lệ vượt qua nghiêm ngặt (strict) chỉ 16,3%, nhỉnh hơn GPT-5.5 của lần đo hồi tháng 5 (14,8%).

Benchmark mô phỏng cách làm phần mềm thật

Khác với các bài kiểm tra thông thường, SlopCodeBench giao cho AI một bài toán theo từng giai đoạn. Mô hình viết chương trình, nhận thêm yêu cầu mới, rồi phải sửa chính đoạn code cũ mà không làm hỏng những tính năng đã chạy tốt. Điều này giống công việc thực tế của lập trình viên, nơi yêu cầu luôn thay đổi giữa chừng. Lần này nhóm thử 36 bài toán với 196 checkpoint cho mỗi cấu hình, nhiều hơn hẳn các lần đo trước.

Các mô hình được thử gồm Opus 5.5, Fable 5.1, SOL 6 và 6.1, Astra và GLM 5.3, với tỷ lệ strict nằm trong khoảng 12,2% đến 16,3%. Còn tiêu chí core, dễ hơn, đạt 65,8% đến 74,0%.

Suy nghĩ nhiều hơn chưa chắc tốt hơn

Phát hiện bất ngờ nhất: chế độ suy luận xhigh tốn gấp 2,11 đến 4,22 lần so với mức medium, nhưng không phải lúc nào cũng cho kết quả tốt hơn. Opus 5.5 thậm chí đạt điểm cao hơn ở mức medium. Với doanh nghiệp và người dùng trả tiền theo lượng sử dụng, đây là tín hiệu đáng cân nhắc trước khi bật cấu hình đắt đỏ nhất. Xem thêm tin công nghệ mới nhất trên VnRead.