Hugging Face vừa phát hành Open R1, một dự án mã nguồn mở nhằm tái tạo đầy đủ quy trình huấn luyện của mô hình suy luận DeepSeek-R1. Thay vì chỉ sao chép kết quả cuối, nhóm phát triển tập trung xây dựng từng bước: từ sinh dữ liệu tổng hợp, tinh chỉnh có giám sát (SFT) cho đến học tăng cường thuần túy (RL). Điều này giúp bất kỳ ai cũng có thể tự huấn luyện một mô hình AI suy luận.

Ba bước tái tạo DeepSeek-R1

Dự án chia làm ba giai đoạn. Đầu tiên, họ đã hoàn thành việc chưng cất dữ liệu suy luận chất lượng cao từ DeepSeek-R1, tạo ra bộ dữ liệu Mixture-of-Thoughts với 350.000 chuỗi suy luận đã xác minh trong toán học, lập trình và khoa học. Tiếp theo, họ xây dựng quy trình RL thuần túy để tạo ra mô hình R1-Zero, sử dụng các bộ dữ liệu lớn cho toán học, suy luận và lập trình. Cuối cùng, họ kết hợp cả hai để đi từ một mô hình cơ sở đến mô hình được tinh chỉnh bằng RL qua nhiều giai đoạn.

Đột phá trong benchmark lập trình

Một điểm đáng chú ý là bộ dữ liệu CodeForces-CoTs gồm 10.000 bài toán lập trình thi đấu cùng 100.000 lời giải được chưng cất từ DeepSeek-R1. Kết quả thử nghiệm cho thấy mô hình Qwen 7B được huấn luyện trên bộ dữ liệu này vượt qua Claude 3.7 Sonnet của Anthropic trên IOI24, trong khi mô hình 32B thậm chí đánh bại chính DeepSeek-R1 gốc. Đây là minh chứng cho thấy mã nguồn mở không chỉ bắt kịp mà còn có thể vượt các mô hình đóng nếu có dữ liệu huấn luyện phù hợp.

Ý nghĩa với người dùng thông thường

Open R1 mở ra khả năng để bất kỳ ai cũng có thể tái tạo và xây dựng tiếp trên nền tảng này cho các mô hình suy luận của riêng mình.

Dự án vẫn đang trong quá trình phát triển và kêu gọi đóng góp từ cộng đồng. Nếu bạn quan tâm đến công nghệ và AI, hãy tham gia đóng góp cùng Hugging Face cho dự án mã nguồn mở này.