Đại học Stanford vừa công bố khóa học mới mang tên CS336: Language Modeling from Scratch. Khác với nhiều khóa AI khác, CS336 yêu cầu sinh viên tự tay xây dựng toàn bộ một mô hình ngôn ngữ lớn (LLM) từ khâu thu thập và làm sạch dữ liệu, xây dựng kiến trúc Transformer, huấn luyện trên GPU, đánh giá trước khi triển khai. Đội ngũ giảng dạy có Percy Liang và Tatsu Hashimoto.

Từ con số 0 đến mô hình ngôn ngữ hoàn chỉnh

Khóa học lấy cảm hứng từ các môn hệ điều hành, nơi sinh viên phải xây dựng một hệ điều hành từ đầu. Điểm nhấn là sinh viên sẽ phải viết mã nhiều gấp 10 lần so với các lớp AI khác, với rất ít hỗ trợ ban đầu. Bài tập đầu tiên yêu cầu triển khai bộ tách từ, kiến trúc Transformer và bộ tối ưu, những thành phần cốt lõi để huấn luyện một mô hình ngôn ngữ Transformer tiêu chuẩn.

Vì sao điều này quan trọng với bạn?

Khi các công ty như Google (GOOGL), Microsoft (MSFT), NVIDIA (NVDA) đua nhau phát triển AI, việc hiểu cách LLM hoạt động giúp bạn không chỉ dùng chatbot mà còn biết được đâu là sản phẩm thực sự chất lượng. Stanford đang đào tạo thế hệ kỹ sư có thể tự tối ưu model, giảm chi phí GPU, mở ra kỷ nguyên mà bất kỳ ai cũng có thể tạo AI riêng. Đây là tin vui cho cộng đồng công nghệ và AI Việt Nam.