Apple (AAPL) vừa phát hành phiên bản mới của MLX, framework open source giúp chạy AI trực tiếp trên chip Apple silicon. Điểm đáng chú ý: bạn có thể chạy Muse Spark Open, mô hình LLM cỡ "frontier" với 816 tỷ tham số, ngay tại bàn làm việc.

Bốn chiếc Mac Studio nối lại thành một cụm

Một chiếc Mac Studio có tối đa 512GB bộ nhớ hợp nhất, đủ để chạy các mô hình như Mistral Medium 3.5 (128 tỷ tham số) hay Qwen 3.8 (27 tỷ tham số). Với Muse Spark Open, Apple nối bốn máy qua cổng Thunderbolt bằng công nghệ RDMA, cho tốc độ hơn 36 token mỗi giây, nhanh hơn nhiều so với tốc độ đọc của con người.

Vì sao điều này quan trọng?

Chạy AI tại chỗ nghĩa là dữ liệu không rời khỏi máy của bạn. Lập trình viên có thể dùng trợ lý viết code với ngữ cảnh dài mà không lo lộ mã nguồn, còn doanh nghiệp nhỏ có thể tự vận hành AI riêng thay vì trả phí API đắt đỏ cho đám mây.

Apple so sánh Mac Studio M5 Ultra, có GPU Neural Accelerator cho phép nhân ma trận chuyên dụng, với thế hệ M3 Ultra trước đó. Đây là bước tiến cho cộng đồng công nghệ muốn thử nghiệm mô hình lớn mà không cần trung tâm dữ liệu.