Một nhóm nghiên cứu vừa công bố Dust, phương pháp đầu tiên thuộc nhóm "zeroth-order" (không dùng đạo hàm) có thể cạnh tranh với backpropagation khi huấn luyện mô hình ngôn ngữ transformer. Backpropagation là thuật toán lõi mà gần như mọi hệ thống AI hiện đại đang dùng để học.

Cách Dust hoạt động

Thay vì tính toán chính xác từng tham số cần chỉnh ra sao, Dust thử "lắc nhẹ" các giá trị bên trong mạng tại mỗi token, rồi xem kết quả tốt lên hay tệ đi. Mỗi token đóng vai một thành viên thử nghiệm riêng, nên chỉ một lượt chạy qua mô hình đã đánh giá được rất nhiều phương án cùng lúc. Hãy hình dung một lớp học nơi mỗi học sinh thử một cách giải khác nhau, rồi cả lớp chọn hướng đúng nhất.

Vì sao đáng chú ý

Nhóm cho biết, theo ước tính ngoại suy, Dust hiệu quả hơn EGGROLL, một phương pháp tiến hóa (ES) hiện đại trong không gian trọng số, từ 1.000 đến 10.000 lần. Điều bất ngờ là mô hình càng lớn thì càng hiệu quả theo quy mô quần thể thử nghiệm: mô hình 243 triệu tham số vượt mô hình nhỏ hơn 120 lần ở hầu hết quy mô quần thể. Khi có nhiều tài nguyên tính toán, Dust thậm chí vượt backpropagation trong một số trường hợp.

Nếu hướng đi này mở rộng được, ngành công nghệ có thể huấn luyện AI trên những kiến trúc không cần khả vi, tận dụng GPU dồi dào hơn nữa, theo tinh thần "bài học cay đắng" của Rich Sutton: phương pháp tổng quát dùng nhiều sức mạnh tính toán cuối cùng sẽ thắng.