Các nhà nghiên cứu vừa công bố một phát hiện đáng chú ý: những mô hình AI hàng đầu như GPT-6 Astra có thể trực tiếp đọc và viết trọng số (weights) của mạng nơ-ron, điều mà hầu hết con người gần như không thể làm. Nhóm gọi phương pháp này là Weight-Space Programming.

Tự viết mạng chơi game, thắng bản huấn luyện 100 triệu bước

Chỉ nhìn vào các con số thô, Astra có thể đoán mạng được huấn luyện để làm gì. Không cần môi trường phản hồi, mô hình còn tự viết từ đầu những mạng nhỏ chơi game, và các mạng này đánh bại mạng được huấn luyện bằng thuật toán PPO suốt 100 triệu bước.

Sửa 0,016% trọng số, điểm toán tăng gấp sáu

Với Qwen3.5-0.8B, Astra phát hiện lỗi khiến mô hình bị lặp vòng khi suy luận, vấn đề mà chính tài liệu của Qwen cũng cảnh báo. Chỉ bằng việc chỉnh khoảng 0,016% trọng số, điểm benchmark MATH-500 tăng từ 7,9% lên 48,1%. Điểm IFEval, thước đo khả năng làm theo chỉ dẫn, cũng tăng gấp ba mà không cần huấn luyện thêm.

Vì sao điều này quan trọng

Lâu nay các mô hình được tối ưu bằng những thuật toán đơn giản như Adam hay Muon. Nếu LLM có thể tự suy luận để chỉnh sửa chính "bộ não" của AI, việc cải thiện và kiểm tra các hệ thống này có thể nhanh hơn, rẻ hơn và dễ hiểu hơn. Đây là hướng đi mới cho công nghệ AI, dù kết quả mới ở giai đoạn rất sớm.