Một lập trình viên có biệt danh slvDev vừa gây chú ý trên GitHub khi chạy thành công mô hình ngôn ngữ 28,9 triệu tham số trên vi điều khiển ESP32-S3 giá chỉ khoảng 8 USD. Toàn bộ quá trình xử lý diễn ra ngay trên chip, không gửi dữ liệu lên server nào, và mỗi từ được in ra màn hình nhỏ với tốc độ 9 token mỗi giây. Đây là bước nhảy vọt so với mô hình trước đó chỉ có 260.000 tham số trên cùng loại chip.

Thủ thuật Per-Layer Embeddings từ Google (GOOGL)

Bí quyết nằm ở kỹ thuật Per-Layer Embeddings, một ý tưởng từ các mô hình Gemma 3n và Gemma 4 của Google (GOOGL). Thay vì nhồi nhét toàn bộ mô hình vào SRAM chỉ có 512KB, slvDev để phần lớn bảng tham số (25 triệu hàng) nằm trong flash chậm hơn, chỉ tải khoảng 450 byte mỗi token vào SRAM. Phần “suy nghĩ” nhỏ hơn vẫn nằm trong vùng nhớ nhanh. Kết quả là mô hình lớn mà tốn rất ít tài nguyên khi chạy, vì không cần tải toàn bộ dữ liệu cùng lúc.

Giới hạn và ý nghĩa thực tế

SlvDev nhấn mạnh rằng mô hình này chỉ được huấn luyện trên bộ dữ liệu TinyStories (các câu chuyện ngắn, đơn giản từ Microsoft Research - MSFT), nên nó chỉ viết truyện, không trả lời câu hỏi, viết code hay biết sự kiện thực tế. Điểm đáng chú ý không phải là khả năng văn chương, mà là kiến trúc: cách một mô hình AI lớn có thể “sống” trên phần cứng giá rẻ. Dự án mã nguồn mở này lấy cảm hứng từ llama2.c của Andrej Karpathy, và đang mở ra hướng đi mới cho các ứng dụng AI nhúng, giá thành thấp, không cần kết nối mạng.

Bạn có thể xem mã nguồn, sơ đồ đấu dây và hướng dẫn nạp firmware tại repo GitHub chính thức. Đây là bước tiến thú vị cho lĩnh vực công nghệ vi điều khiển và AI biên.