Một dự án open source mới mang tên 'LLM From Scratch' (dựa trên nanoGPT của Andrej Karpathy) đang gây sốt trên Hacker News với hơn 245 upvote. Điểm đặc biệt: bạn có thể tự tay viết từng dòng code của một mô hình GPT cỡ 10 triệu tham số và train nó trên chính chiếc MacBook, máy Linux hay laptop Windows thông thường, hoàn thành trong chưa đầy một giờ.

Workshop viết tay GPT pipeline

Dự án này được thiết kế như một workshop thực hành, hướng dẫn bạn từng bước xây dựng tokenizer (chuyển văn bản thành số), kiến trúc transformer (embedding, attention, feed-forward), vòng lặp training (forward pass, loss, backprop, optimizer, learning rate scheduling) và cuối cùng là sinh văn bản (generate). Kết quả là một mô hình GPT chạy được trên laptop, có thể tạo ra văn bản theo phong cách Shakespeare.

Chạy trên mọi thiết bị, từ MacBook đến NVIDIA GPU

Workshop tự động dùng Apple Silicon GPU (MPS) trên Mac, NVIDIA GPU (CUDA) trên PC, hoặc CPU nếu không có GPU. Bạn cũng có thể chạy trên Google Colab miễn phí. Yêu cầu duy nhất: Python 3.12+ và khả năng đọc code Python cơ bản, không cần kinh nghiệm Machine Learning trước đó.

Ý nghĩa với cộng đồng AI và startup Việt

Việc một người dùng cá nhân có thể tự train LLM trên laptop mở ra cơ hội lớn cho các startup AI Việt Nam. Thay vì phụ thuộc vào các API đám mây đắt đỏ, các nhà phát triển có thể thử nghiệm ý tưởng, fine-tune mô hình cho tiếng Việt ngay trên máy tính cá nhân, giảm chi phí và tăng tốc độ đổi mới. Dự án là minh chứng cho xu hướng 'AI dân chủ hóa': bất kỳ ai có laptop và đam mê công nghệ đều có thể chạm tay vào AI tạo sinh.