Meta (META) vừa giới thiệu Muse Glimmer, mô hình AI 30 tỷ tham số dành riêng cho tác vụ agent, đồng thời phát hành trọng số mô hình theo giấy phép Apache 2.0. Điểm đặc biệt là mô hình này chạy hoàn toàn trên thiết bị cá nhân, thay vì phải gọi qua cloud. Người dùng có thể dùng AI ngay trên Mac hoặc PC có GPU, kể cả khi mất internet.

Cải tiến từ mô hình lớn hơn

Muse Glimmer được huấn luyện qua kỹ thuật logit distillation từ Muse Spark, kết hợp fine-tune và reinforcement learning trên dữ liệu agentic. Kết quả là khả năng gọi công cụ, xử lý ngữ cảnh dài và viết mã tốt hơn so với các mô hình cùng kích thước. Meta cho biết các tích hợp tối ưu cho llama.cpp, MLX và ExecuTorch sẽ sớm ra mắt, giúp nhà phát triển tải về từ Hugging Face và chạy agent trong vài phút.

Ý nghĩa với người dùng và startup

Mô hình nhỏ nhưng chạy local giúp giảm chi phí, tăng quyền riêng tư vì dữ liệu không rời khỏi máy. Các startup có thể xây dựng trợ lý AI, tự động hóa công việc mà không phụ thuộc API tốn kém. Xu hướng này mở ra kỷ nguyên AI cá nhân hóa, nơi người dùng kiểm soát dữ liệu của mình. Theo dõi thêm tin công nghệ và cập nhật AI tại vnread.com.