StarSkirmish là bài benchmark mới yêu cầu mỗi mô hình AI tự viết một bot chơi StarCraft: Brood War cho phe Protoss bằng C++ trong đúng một giờ. Bot sau đó được đem đấu với bot của các LLM khác và những bot do con người lập trình, vốn đã được cộng đồng kiểm chứng qua nhiều năm.

GPT-6 Astra dẫn đầu, nhưng vẫn thua người

Trong phiên bản v0.2, GPT-6 Astra đứng nhất, theo sau là GPT-6.1 Sol. Gemini 4 Argon, Claude Opus 5.5 và Claude Fable 5.1 xếp tiếp theo với điểm số gần như ngang nhau, từ 37 đến 39. Tuy vậy, trước các bot mạnh nhất của con người như Stardust, PurpleWave và BananaBrain, GPT-6 Astra chỉ thắng khoảng 7% số ván.

Luyện tập quyết định thành bại

Điểm thú vị là yếu tố dự báo điểm số tốt nhất lại là số ván tập mà mô hình tự chơi với các bot mạnh. Những mô hình sớm đem bot của mình ra đấu và học từ thất bại thường đạt kết quả cao hơn. Về chi phí, GPT-6.1 Sol được đánh giá hời nhất: đứng thứ hai nhưng chi phí mỗi lượt chạy chỉ bằng hơn một phần mười của GPT-6 Astra.

Ý nghĩa với người dùng

Bài kiểm tra này đo khả năng lập kế hoạch dài hạn và viết code theo kiểu agent, những năng lực sẽ quyết định AI có thể tự làm việc độc lập đến đâu trong công nghệ thực tế. Khoảng cách với con người cho thấy AI vẫn còn nhiều dư địa phát triển.