Google (GOOGL) vừa công bố DiffusionGemma, một mô hình AI open source thử nghiệm có khả năng tạo văn bản nhanh hơn tới 4 lần so với các LLM truyền thống. Thay vì xử lý từng token tuần tự như các mô hình autoregressive thông thường, DiffusionGemma sử dụng phương pháp khuếch tán (diffusion) để sinh đồng thời cả khối văn bản 256 token trong một lần truyền, giúp tăng tốc đáng kể trên GPU.

Đột phá về tốc độ cho nhà phát triển

Với kiến trúc Mixture of Experts (MoE) 26B tham số nhưng chỉ kích hoạt 3.8B tham số mỗi lần suy luận, mô hình này chạy mượt trên các GPU tiêu dùng như NVIDIA (NVDA) GeForce RTX 5090 với hơn 700 token/giây. Nhờ đó, các ứng dụng AI tương tác thời gian thực như chỉnh sửa văn bản trực tiếp, điền code, hoặc xử lý các cấu trúc phi tuyến tính như chuỗi amino acid hay đồ thị toán học.

Ứng dụng thực tế và hạn chế

DiffusionGemma có cơ chế tự sửa lỗi thông minh: mô hình đánh giá toàn bộ khối văn bản cùng lúc và tinh chỉnh dần. Tuy nhiên, chất lượng đầu ra vẫn chưa bằng Gemma 4 bản chuẩn. Các nhà nghiên cứu có thể fine-tune mô hình cho các tác vụ đặc thù, như Unsloth đã làm khi huấn luyện DiffusionGemma chơi Sudoku. Đây là bước tiến quan trọng dành cho các nhà nghiên cứu và lập trình viên đang tìm kiếm giải pháp suy luận AI tốc độ cao trên thiết bị cá nhân.