#Mô hình ngôn ngữ lớn

Claude Fable 5.1 giảm 75% giá đọc cache, nhưng prompt caching hoạt động ra sao?

Claude Fable 5.1 vừa giảm 75% giá đọc cache, và đằng sau con số đó là cơ chế lưu lại các tensor key-value để tránh tính toán lặp lại, giúp các tác nhân AI chạy dài trở nên rẻ hơn đáng kể.

Qwen 3.8 27B của Alibaba gây bất ngờ khi từ chối viết mã vượt kiểm tra giấy phép

Mô hình AI mở trọng số Qwen 3.8 27B của Alibaba từ chối viết mã vượt kiểm tra giấy phép phần mềm nhưng vẫn hoàn thành báo cáo phân tích bảo mật chi tiết, cho thấy sức mạnh của AI chạy tại nhà.

Trung Quốc

DeepSeek tung AI thị giác thử nghiệm, áp sát Anthropic trước thềm IPO

DeepSeek ra mắt mô hình đa phương thức thử nghiệm V4-Flash-Vision-Exp, hiệu suất áp sát Anthropic, ngay trước thềm nộp hồ sơ IPO với định giá 71 tỷ USD.

Grokking

Apple tự huấn luyện AI riêng cho Trung Quốc cùng Alibaba, nhưng bản địa hóa mô hình ngôn ngữ lớn thế nào?

Apple trở thành công ty nước ngoài đầu tiên được Bắc Kinh cho phép triển khai mô hình AI độc quyền tại Trung Quốc, với sự hỗ trợ từ Alibaba. Bài viết giải thích cách một mô hình AI được bản địa hóa cả về ngôn ngữ lẫn pháp lý.

Qwen/Qwen3.8-2.4T-A95B: cách dùng với Transformers, vLLM, SGLang và Docker Model Runner

Qwen/Qwen3.8-2.4T-A95B có trọng số và cấu hình công khai trên Hugging Face, kèm hướng dẫn dùng với Transformers, vLLM, SGLang và Docker Model Runner.

Grokking

Speculative decoding sinh văn bản nhanh hơn bằng model phụ nhỏ

Speculative decoding dùng một model nhỏ phác thảo nhiều token cùng lúc để model lớn kiểm chứng song song, giúp AI sinh văn bản nhanh gấp hai đến ba lần mà đầu ra vẫn giống hệt về mặt xác suất.

Grokking

Chunking strategies chia tài liệu thành mảnh phù hợp cho RAG

So sánh bốn chiến lược chunking phổ biến nhất cho RAG: fixed-size, semantic, recursive character splitting và cách chọn overlap, kích thước chunk sao cho retrieval chính xác nhất.

Công Nghệ

Meta ra mắt mô hình AI mã nguồn mở Muse Glimmer 30 tỷ tham số

Meta Platforms (META) phát hành mô hình AI mã nguồn mở Muse Glimmer với 30 tỷ tham số, được nén gọn để chạy trên máy tính cá nhân và vượt trội nhiều đối thủ trong các bài kiểm tra hiệu năng.

Grokking

Masked self-attention ngăn model nhìn trước tương lai bằng cách nào?

Causal mask hình tam giác là cơ chế âm thầm nhưng sống còn khiến GPT và các model ngôn ngữ lớn không thể nhìn trộm token tương lai khi huấn luyện.

Grokking

Self-attention tính toán mối quan hệ giữa các từ bằng cách nào?

Bên trong mỗi mô hình ngôn ngữ, từ GPT đến Qwen hay DeepSeek, self-attention dùng ba phép nhân ma trận Query, Key, Value cùng hàm softmax để quyết định mỗi từ nên chú ý đến từ nào khác trong câu. Cùng bóc tách cơ chế này qua một ví dụ cụ thể.

Kimi K3: mô hình AI mở 2.800 tỷ tham số lớn nhất lịch sử sắp ra mắt

Moonshot AI chuẩn bị phát hành trọng số mở của Kimi K3, mô hình AI mã nguồn mở lớn nhất từng ra mắt, giúp doanh nghiệp tránh rủi ro dữ liệu khi tự triển khai.

Grokking

Sparse Attention: Cách Transformer Học Bỏ Bớt Phần Lớn Phép Tính Mà Vẫn Hiểu Được Văn Bản Dài

Cơ chế attention nguyên bản trong AI có một nhược điểm nổi tiếng: chi phí tính toán tăng theo bình phương độ dài chuỗi đầu vào. Văn bản dài gấp đôi th...