#Transformer

Transformer hoạt động như bộ nhớ: từ 64 lên hơn 1 triệu ký ức

Một bài phân tích cho thấy lớp tuyến tính, MLP và self-attention trong LLM đều là kho nhớ liên tưởng, với sức chứa tăng từ khoảng 64 lên hơn một triệu ký ức.

Dust: huấn luyện transformer không cần backpropagation, lần đầu sánh ngang

Dust là phương pháp đầu tiên không dùng backpropagation mà vẫn cạnh tranh được khi huấn luyện transformer, và càng hiệu quả khi mô hình lớn hơn.

Kỹ sư độc lập đạt 44% ARC-AGI-1 với chi phí chỉ 67 xu

Một kỹ sư độc lập huấn luyện mô hình transformer nhỏ đạt 44% trên ARC-AGI-1 chỉ trong 1,5 giờ với chi phí 67 xu, vượt qua nhiều LLM đắt đỏ và công bố mã nguồn mở.

RollTab: AI tự động hoàn thiện giai điệu piano ngay trên iPhone

RollTab là ứng dụng AI mới giúp tự động hoàn thiện giai điệu piano theo thời gian thực ngay trên iPhone, dùng mô hình transformer nhỏ gọn 125 triệu tham số.

Grokking

Masked self-attention ngăn model nhìn trước tương lai bằng cách nào?

Causal mask hình tam giác là cơ chế âm thầm nhưng sống còn khiến GPT và các model ngôn ngữ lớn không thể nhìn trộm token tương lai khi huấn luyện.

Grokking

Self-attention tính toán mối quan hệ giữa các từ bằng cách nào?

Bên trong mỗi mô hình ngôn ngữ, từ GPT đến Qwen hay DeepSeek, self-attention dùng ba phép nhân ma trận Query, Key, Value cùng hàm softmax để quyết định mỗi từ nên chú ý đến từ nào khác trong câu. Cùng bóc tách cơ chế này qua một ví dụ cụ thể.

Grokking

Sparse Attention: Cách Transformer Học Bỏ Bớt Phần Lớn Phép Tính Mà Vẫn Hiểu Được Văn Bản Dài

Cơ chế attention nguyên bản trong AI có một nhược điểm nổi tiếng: chi phí tính toán tăng theo bình phương độ dài chuỗi đầu vào. Văn bản dài gấp đôi th...

Grokking

Layer normalization ổn định huấn luyện Transformer bằng cách nào?

Layer normalization giúp ổn định phân phối đầu vào giữa các lớp Transformer, ngăn chặn hiện tượng loss dao động hay nổ gradient trong quá trình huấn luyện.

Grokking

AFX Trade trên Arbitrum bị hacker rút 24,15 triệu USD qua lỗ hổng cầu nối

Giao thức AFX Trade trên Arbitrum bị tin tặc chiếm quyền cầu nối riêng, rút mất 24,15 triệu USD, công ty bảo mật Blockaid xác nhận sự cố và AFX đề nghị mức thưởng 30% cho hacker để thu hồi tài sản.

Thinking Machines ra mắt Inkling, mô hình AI mở trọng số 975B tham số

Thinking Machines phát hành Inkling, mô hình AI MoE 975B tham số với trọng số mở, cho phép tải toàn bộ trọng số và tinh chỉnh trên nền tảng Tinker.

Grokking

Noam Shazeer rời Google sang OpenAI, nhưng cơ chế multi-head attention trong Transformer hoạt động bằng cách nào?

Noam Shazeer, đồng tác giả kiến trúc Transformer, rời Google sang OpenAI sau thương vụ 2,7 tỷ USD. Bài viết giải thích cơ chế multi-head attention mà ông đồng phát minh, trái tim của mọi LLM hiện đại.

Moonshot AI hướng dẫn dùng Kimi-K2.7-Code, mô hình AI chuyên lập trình mới

Moonshot AI hướng dẫn dùng Kimi-K2.7-Code, mô hình AI chuyên lập trình có thể xử lý cả văn bản lẫn hình ảnh, hỗ trợ Transformers, vLLM, SGLang, HuggingChat, Google Colab và Kaggle.