Ternlight, một startup AI non trẻ, vừa gây chú ý khi phát hành mô hình embedding siêu nhẹ chỉ 7 MB (bản mini 5 MB) có thể chạy trực tiếp trên trình duyệt mà không cần kết nối internet hay GPU. Thay vì gọi API tốn phí và phụ thuộc máy chủ, lập trình viên chỉ cần cài npm package duy nhất là có thể nhúng (embed) văn bản trong khoảng 5 mili giây ngay trên CPU máy tính thông thường.

Từ khối mã khổng lồ đến gói nhỏ gọn

Thông thường, các mô hình AI yêu cầu GPU đắt tiền hoặc hàng trăm MB dữ liệu. Ternlight phá vỡ rào cản này: engine và trọng số nặng vỏn vẹn 7 MB, không cần tải thêm, không gọi máy chủ. Lệnh npm install @ternlight/base và import { embed, similar } là đủ để tìm kiếm ngữ nghĩa trong danh sách công thức nấu ăn hay tài liệu React ngay trên local.

Ý nghĩa với người dùng thông thường

Điều này có nghĩa là: các ứng dụng như chatbot, công cụ tra cứu nội dung, hay trợ lý ảo có thể hoạt động hoàn toàn ngoại tuyến, bảo vệ quyền riêng tư và tiết kiệm chi phí. Một người nội trợ có thể dùng AI để tìm công thức món ăn tối từ tủ lạnh mà không cần gửi dữ liệu lên đám mây. Các startup nhỏ có thể tích hợp tìm kiếm thông minh vào sản phẩm mà không tốn ngân sách cho API cloud.

So sánh với hệ sinh thái hiện tại

Trong khi OpenAI và Google tiếp tục phát triển các mô hình khổng lồ, Ternlight chọn hướng ngược lại: tối ưu để chạy trên mọi thiết bị, từ laptop cũ đến smartphone. Đây là xu hướng “edge AI” đang lên, giúp công nghệ trở nên dễ tiếp cận hơn cho mọi người, không chỉ các chuyên gia AI. Demo trên trang Ternlight cho thấy khả năng tìm kiếm tài liệu React ngay trong tab trình duyệt, phản hồi tức thì.