Cơ chế attention nguyên bản trong AI có một nhược điểm nổi tiếng: chi phí tính toán tăng theo bình phương độ dài chuỗi đầu vào. Văn bản dài gấp đôi thì ma trận attention phình to gấp bốn. Đó là lý do mô hình ngôn ngữ đời đầu chật vật với tài liệu dài, và cũng là một phần lý do các trung tâm dữ liệu công nghệ AI khát điện đến mức đường dây điện đứt cũng thành khủng hoảng hạ tầng. Sparse attention ra đời để giải bài toán đó: thay vì để mỗi token nhìn thấy tất cả token còn lại, người ta chỉ cho nó nhìn một tập con được chọn lọc.

Strided attention: nhìn theo nhịp cố định

Ý tưởng đầu tiên, xuất hiện trong Sparse Transformer của OpenAI, là cho mỗi token chỉ chú ý đến những token cách nó một khoảng cố định, ví dụ mỗi 8 hoặc 16 vị trí, giống như đọc lướt một cuốn sách bằng cách liếc qua đầu mỗi đoạn. Kết hợp với attention cục bộ ở các vị trí liền kề, mô hình vẫn nắm cả ngữ cảnh gần lẫn xa mà không cần tính toàn bộ ma trận.

Random attention: vá những lỗ hổng của mẫu cố định

Vấn đề của strided attention thuần túy là nó bỏ sót thông tin nằm ngoài mẫu cố định. BigBird, mô hình do Google giới thiệu, thêm một tập token được chọn ngẫu nhiên cho mỗi hàng của ma trận attention. Các kết nối ngẫu nhiên này đóng vai trò cầu nối tắt, giúp thông tin lan truyền nhanh giữa các phần xa nhau của chuỗi, tương tự cách vài mối quen biết ngẫu nhiên trong mạng xã hội rút ngắn khoảng cách giữa hai người xa lạ.

Global sentinel token: vài điểm nhìn thấy tất cả

Cả BigBird lẫn Longformer đều dùng thêm một nhóm nhỏ token đặc biệt, thường là token đầu câu hoặc token do tác vụ chỉ định, được phép nhìn thấy toàn bộ chuỗi và được toàn bộ chuỗi nhìn thấy ngược lại. Những sentinel token này là trạm trung chuyển thông tin toàn cục, bù đắp cho việc phần lớn token khác chỉ nhìn thấy cục bộ. Longformer còn bổ sung sliding window giãn cách, giống các khoảng trống trong tích chập giãn nở (dilated convolution) của CNN, để mở rộng tầm nhìn mà không tốn thêm phép tính.

Bằng chứng toán học của BigBird

Điều khiến BigBird đáng chú ý không chỉ là hiệu năng thực nghiệm. Nhóm tác giả còn chứng minh được rằng tổ hợp ba loại attention, cục bộ, ngẫu nhiên và toàn cục, vẫn giữ các tính chất lý thuyết quan trọng của attention đầy đủ: nó là bộ xấp xỉ vạn năng cho các hàm trên chuỗi và tương đương với một máy Turing đầy đủ (Turing complete). Nói cách khác, cắt giảm phép tính không đánh đổi bằng giới hạn về loại hàm mà mô hình có thể biểu diễn, ít nhất là về mặt lý thuyết.

Đánh đổi giữa độ thưa và chất lượng

Độ thưa càng cao thì mô hình càng nhanh và rẻ nhưng càng dễ bỏ sót các phụ thuộc xa mà mẫu sparse không chạm tới, đặc biệt với tác vụ đòi hỏi so khớp chi tiết giữa hai đầu văn bản dài. Longformer và BigBird thường đạt chất lượng gần bằng attention đầy đủ trên benchmark tài liệu dài, nhưng khoảng cách đó mở rộng dần khi chuỗi càng dài và mẫu sparse càng thưa. Vì vậy chọn mẫu sparse nào không phải quyết định kỹ thuật thuần túy, mà là bài toán cân bằng giữa ngân sách tính toán và mức độ mô hình được phép quên.