Multi-head attention chia nhỏ sự chú ý thành nhiều góc nhìn song song
Tìm hiểu cơ chế multi-head attention trong Transformer: vì sao một attention head không đủ và cách chia thành nhiều head song song giúp mô hình nắm bắt đồng thời các quan hệ cú pháp, ngữ nghĩa, vị trí.
Beam search so với sampling, hai chiến lược sinh văn bản khác nhau
Bài viết so sánh hai chiến lược sinh văn bản là beam search (tìm chùm) và sampling (lấy mẫu), giải thích cách mỗi phương pháp chọn token tiếp theo từ phân phối xác suất.
Quantization nén model từ FP16 xuống INT4 mà giữ chất lượng bằng cách nào?
Kỹ thuật quantization giúp nén mô hình AI từ FP16 xuống INT4, giảm 75% kích thước nhưng vẫn giữ được chất lượng gần như nguyên vẹn nhờ vào các phương pháp như GPTQ, AWQ và GGUF.
BPE ghép cặp byte phổ biến nhất để xây dựng từ điển subword?
BPE là thuật toán ghép cặp byte phổ biến nhất để xây dựng từ điển subword, được dùng trong GPT-2, GPT-3, GPT-4 và hầu hết mô hình ngôn ngữ lớn hiện nay.
