IBM vừa phát hành Granite 4.1, một gia đình mô hình ngôn ngữ lớn (LLM) mã nguồn mở (open source) dành riêng cho doanh nghiệp. Điểm đáng chú ý: phiên bản 8B (8 tỷ tham số) dùng kiến trúc dense thuần túy, không dùng MoE hay chuỗi suy luận mở rộng, nhưng lại vượt qua Granite 4.0-H-Small (32B tham số, 9B hoạt động) trên hầu hết benchmark quan trọng. Trên ArenaHard, mô hình 8B đạt 69.0 điểm, cao hơn bản cũ. Trên BFCL V3 về tool calling, mô hình 8B đạt 68.3 so với 64.7 của bản cũ. Điều này cho thấy IBM đã tối ưu hóa quy trình huấn luyện thay vì chỉ tăng tham số.

Cách IBM xây dựng Granite 4.1

Cả ba phiên bản (3B, 8B, 30B) đều dùng chung kiến trúc transformer dense, không có lớp thưa thớt hay cơ chế MoE. IBM đã huấn luyện trên 15 nghìn tỷ token qua năm giai đoạn với tỷ lệ dữ liệu khác nhau: từ CommonCrawl (59%) ở giai đoạn đầu, đến giai đoạn 2 tăng tỷ lệ toán (35%) và code (30%), rồi bổ sung chain-of-thought reasoning ở giai đoạn 3-4. Giai đoạn cuối mở rộng cửa sổ ngữ cảnh lên 512K token. Chiến lược này giúp mô hình hiểu sâu hơn, chi phí vận hành thấp hơn vì không phụ thuộc vào suy luận dài dòng. Với giấy phép Apache 2.0, Granite 4.1 phù hợp cho các doanh nghiệp muốn tùy chỉnh AI mà không lo bị khóa nền tảng.

Ý nghĩa với người dùng thường

Thay vì chạy đua số tham số như Meta (META) hay Google (GOOGL), IBM chứng minh rằng dữ liệu chất lượng cao quan trọng hơn kích thước mô hình. Mô hình 8B có thể chạy trên GPU tầm trung, tiết kiệm chi phí đám mây, phù hợp với chatbot doanh nghiệp, phân tích tài liệu, hoặc tool calling trong CRM. Đây là tin vui cho các startup Việt Nam muốn tích hợp AI mà không cần đầu tư hàng triệu USD vào hạ tầng. Granite 4.1 mở ra cơ hội xây dựng ứng dụng thông minh, dễ tiếp cận hơn cho cộng đồng công nghệ và AI trong nước.