Một lập trình viên vừa công bố cách thiết lập tác nhân lập trình chạy hoàn toàn trên máy Mac, dùng mô hình ngôn ngữ lớn (LLM) Gemma 4 26B-A4B và Qwen3.6 35B-A3B của Google và Alibaba. Trong bối cảnh mất kết nối internet thường xuyên, người này đã tìm ra giải pháp chạy AI ngay trên laptop mà không cần dịch vụ đám mây.

Giải mã suy đoán MTP giúp tăng tốc 25%

Bí quyết nằm ở kỹ thuật Dự đoán đa token (MTP) kết hợp với giải mã suy đoán. Thay vì sinh từng token một, mô hình dự đoán nhiều token cùng lúc, giảm độ trễ. Cấu hình tối ưu trên Mac M1 Max 64GB RAM gồm: llama.cpp bản Metal, Gemma 4 26B-A4B GGUF phiên bản 16GB, mô hình nháp MTP dạng Q8, và Pi làm tác nhân lập trình ở terminal.

Kết quả thử nghiệm hiệu năng với tác vụ viết mã Python: cấu hình gốc trên Metal đạt 58 token/giây, sau khi thêm mô hình nháp MTP, tốc độ tăng lên 72,2 token/giây với 3 token nháp. Dù chỉ tăng khoảng 25%, điều này quan trọng vì tác nhân lập trình thường phải gọi công cụ liên tục, cần phản hồi gần như tức thời.

Ứng dụng cho người dùng phổ thông

Với những người thường xuyên làm việc ngoại tuyến hoặc muốn bảo mật dữ liệu, việc chạy AI ngay trên máy tính cá nhân là bước tiến lớn. Bạn có thể chụp màn hình và gửi cho tác nhân để nó phân tích, sửa lỗi mã hoặc thiết kế giao diện. Công nghệ này mở ra khả năng sử dụng AI mà không cần kết nối mạng, giảm phụ thuộc vào dịch vụ đám mây.

Toàn bộ cấu hình mã nguồn mở, dễ tùy chỉnh. Đây là tín hiệu cho thấy làn sóng AI cục bộ đang đến gần, giúp cả nhà phát triển và người dùng cuối có thêm lựa chọn bảo mật và linh hoạt.