Cognition vừa ra mắt FrontierCode, một benchmark đột phá nhằm đo lường không chỉ tính đúng đắn mà còn cả chất lượng thực sự của code do AI tạo ra. Trong bối cảnh code từ AI đang chiếm tỉ lệ lớn trong sản xuất phần mềm, việc chỉ kiểm tra 'chạy được' là chưa đủ. FrontierCode đặt ra câu hỏi lớn hơn: liệu model có viết code mà một maintainer thực thụ chịu merge không?

Cách FrontierCode hoạt động

Benchmark này sử dụng một bộ tiêu chí đánh giá toàn diện gồm: độ chính xác, chất lượng unit test, tuân thủ phong cách code, và mức độ phù hợp với chuẩn của dự án. Điểm đặc biệt là hơn 20 maintainer open source hàng đầu thế giới đã dành hơn 40 giờ cho mỗi tác vụ để xây dựng các bài coding thực tế từ chính repo của họ. Họ cũng định nghĩa thế nào là 'mergeable', tức code sẵn sàng được chấp nhận vào dự án chính thức. FrontierCode còn có quy trình kiểm soát chất lượng gắt gao: mỗi tác vụ đều được một nhà nghiên cứu của Cognition xem xét thủ công, giúp giảm tỉ lệ dương tính giả tới 81% so với SWE-Bench Pro.

Kết quả đáng chú ý

Trên tập dữ liệu khó nhất (Diamond, gồm 50 tác vụ), mô hình tốt nhất – Claude Opus 4.8 – chỉ đạt 13,4% điểm. Trong khi đó, GPT-5.5 đạt 6,3%, Gemini 3.1 Pro đạt 4,7%. Dù điểm thấp, GPT-5.5 lại tiết kiệm tới 4 lần số token so với Opus 4.8, mang lại hiệu quả chi phí tốt hơn. Trên tập Main và Extended, Opus 4.8 vẫn giữ vị trí dẫn đầu với 34,3%. Kết quả này cho thấy ngay cả những AI mạnh nhất hiện nay vẫn gặp khó khăn khi viết code đủ chất lượng để được chấp nhận bởi con người.

Đây là tín hiệu quan trọng cho thấy các nhà phát triển không nên hoàn toàn phụ thuộc vào AI để viết code sản xuất. FrontierCode sẽ giúp các công ty như Google (GOOGL), Microsoft (MSFT) và Meta (META) cải thiện model của mình, hướng tới những ứng dụng AI thực tế và an toàn hơn trong lĩnh vực công nghệ.