Hôm 5/8, tin ông Demis Hassabis rời ghế CEO Google DeepMind khiến giới công nghệ xôn xao, nhưng phía sau mọi mô hình ngôn ngữ lớn mà DeepMind hay các phòng thí nghiệm khác xây dựng vẫn là một cơ chế toán học âm thầm ít ai để ý tới: masked self-attention. Đây chính là thứ giữ cho transformer không thể gian lận bằng cách nhìn trộm đáp án trong lúc học, và nếu thiếu nó, các model như GPT sẽ không thể sinh văn bản từng từ một cách hợp lý.

Ma trận mask hình tam giác hoạt động ra sao

Trong self-attention thông thường, mỗi token được phép nhìn vào tất cả token khác trong câu, kể cả những token đứng sau nó, để tính điểm liên quan rồi tổng hợp thông tin. Với một model sinh văn bản tuần tự, điều đó là tai họa: nếu token thứ 3 được phép nhìn thấy token thứ 5, model sẽ học cách đoán từ tương lai thay vì học cách dự đoán thực sự. Giải pháp là cộng thêm một ma trận mask hình tam giác dưới vào điểm attention trước khi đưa qua softmax. Với vị trí i đang xử lý và vị trí j là token khác, nếu j nhỏ hơn hoặc bằng i thì giữ nguyên điểm số, còn nếu j lớn hơn i (tức là ở tương lai) thì gán giá trị âm vô cực. Sau softmax, những ô âm vô cực đó biến thành 0, coi như token tương lai không tồn tại trong phép tính.

Ràng buộc tự hồi quy: vì sao phải chặn tương lai

Các mô hình ngôn ngữ lớn thuộc kiểu decoder-only hoạt động theo nguyên tắc tự hồi quy, nghĩa là chúng sinh ra từng token một, mỗi token mới được tính dựa trên toàn bộ token đã sinh trước đó. Nếu trong lúc huấn luyện model được phép nhìn thấy token tương lai qua self-attention không bị chặn, nó sẽ học được một biểu diễn phụ thuộc vào thông tin mà lúc suy luận thực tế không hề tồn tại. Kết quả là model hoạt động tốt trên dữ liệu huấn luyện nhưng sụp đổ hoàn toàn khi phải tự sinh văn bản thật, vì lúc đó chỉ có quá khứ để dựa vào. Bạn đọc quan tâm sâu hơn về kiến trúc AI có thể xem thêm các bài phân tích tại chuyên mục Công Nghệ của VnRead.

Teacher forcing: học với đáp án đúng nhưng vẫn bị bịt mắt tương lai

Trong quá trình huấn luyện, các kỹ sư dùng kỹ thuật gọi là teacher forcing: thay vì để model tự sinh từng token rồi mới học từ sai số, người ta đưa thẳng chuỗi văn bản thật vào model song song, mỗi vị trí đều đã có sẵn đáp án đúng ở ngay bên cạnh nó trong dữ liệu. Điều này giúp huấn luyện song song cực nhanh, thay vì phải sinh tuần tự từng bước như lúc suy luận. Nhưng chính vì đáp án đúng nằm ngay trong chuỗi đầu vào, causal mask trở thành lá chắn bắt buộc. Nếu không có nó, model sẽ đơn giản là sao chép token kế tiếp thay vì học cách dự đoán nó từ ngữ cảnh trước đó.

Mask lúc huấn luyện và lúc suy luận khác nhau thế nào

Lúc huấn luyện, cả câu đã có sẵn nên mask tam giác được áp dụng một lần cho toàn bộ ma trận attention, xử lý song song mọi vị trí. Lúc suy luận, model chưa biết token tiếp theo là gì nên phải sinh từng bước, mỗi bước thêm một token mới vào chuỗi rồi tính lại attention. Về bản chất, mask vẫn là tam giác, nhưng chuỗi được mở rộng dần thay vì cố định sẵn. Nhiều hệ thống thực tế dùng kỹ thuật cache lại các phép tính key và value của token cũ để không phải tính lại từ đầu mỗi bước, giúp việc sinh văn bản trong các ứng dụng AI nhanh hơn đáng kể mà vẫn tôn trọng đúng nguyên tắc chỉ nhìn về quá khứ.