Nếu bạn từng thử tạo ảnh bằng Stable Diffusion và tự hỏi tại sao nó nhanh đến vậy, câu trả lời nằm ở một ý tưởng đơn giản nhưng mạnh mẽ: thay vì thêm và khử nhiễu trực tiếp trên ảnh gốc (512x512 pixel, hàng trăm nghìn giá trị), hãy nén ảnh vào một "không gian ẩn" nhỏ hơn rất nhiều rồi thực hiện toàn bộ quá trình diffusion ở đó. Đây chính là latent diffusion, kiến trúc nền tảng mà nhóm CompVis tại Đại học LMU Munich phát triển, và là xương sống của Stable Diffusion từ phiên bản 1.x đến 2.1.

Autoencoder và không gian ẩn

Bước đầu tiên của latent diffusion là huấn luyện một variational autoencoder (VAE) gồm hai phần: encoder nén ảnh từ không gian pixel xuống biểu diễn ẩn (latent representation) có kích thước nhỏ hơn khoảng 48 lần, và decoder khôi phục ảnh từ biểu diễn ẩn. Điểm mấu chốt là VAE không nén theo kiểu không mất dữ liệu như ZIP. Thay vào đó, mô hình lược bớt các chi tiết tần số cao mà mắt người khó nhận ra, chỉ giữ lại cấu trúc ngữ nghĩa cốt lõi. Cụ thể, một bức ảnh 512x512x3 được nén thành tensor 64x64x4, giảm khối lượng tính toán hàng chục lần mà chất lượng ảnh tái tạo gần như không đổi.

Diffusion trong không gian ẩn thay vì pixel

Với mô hình diffusion truyền thống (như DDPM), nhiễu Gaussian được thêm trực tiếp vào ảnh pixel, rồi mạng U-Net học cách khử nhiễu từng bước. Quá trình này cực kỳ tốn tài nguyên vì mỗi bước đều xử lý toàn bộ ảnh ở độ phân giải gốc. Latent diffusion thay đổi hoàn toàn cách tiếp cận: nhiễu được thêm vào biểu diễn ẩn 64x64 thay vì ảnh 512x512, và U-Net khử nhiễu trong không gian nhỏ này. Sau khi khử nhiễu xong, VAE decoder "giải nén" kết quả trở lại ảnh pixel đầy đủ. Kết quả là tốc độ huấn luyện và sinh ảnh nhanh hơn hàng chục lần so với pixel diffusion, trong khi chất lượng đầu ra tương đương.

Cross-attention: khi văn bản điều khiển ảnh

Stable Diffusion không chỉ sinh ảnh ngẫu nhiên mà tạo ảnh theo mô tả văn bản. Cơ chế này hoạt động qua cross-attention: câu lệnh của người dùng được bộ mã hóa văn bản, thường là CLIP, chuyển thành vector rồi đưa vào từng lớp attention của U-Net. Tại mỗi bước khử nhiễu, U-Net không chỉ dựa vào tensor ẩn hiện tại mà còn dựa vào vector văn bản để quyết định khử nhiễu theo hướng nào. Nhờ vậy, cùng một điểm xuất phát nhiễu ngẫu nhiên có thể sinh ra "con mèo trên cầu vồng" hay "tòa nhà chọc trời lúc hoàng hôn" tùy theo prompt.

Tại sao điều này quan trọng

Latent diffusion giải quyết bài toán lớn nhất của AI sinh ảnh: làm sao tạo ra hình ảnh chất lượng cao mà không cần cụm GPU khổng lồ. Trước Stable Diffusion, các mô hình như DALL-E 2 hay Imagen đòi hỏi hạ tầng tính toán mà chỉ Google hay OpenAI mới có. Bằng cách chuyển toàn bộ quá trình diffusion vào không gian nén, nhóm nghiên cứu đã dân chủ hóa công nghệ sinh ảnh AI, cho phép bất kỳ ai có GPU tầm trung cũng có thể chạy mô hình trên máy tính cá nhân. Đó là lý do Stable Diffusion trở thành nền tảng phổ biến nhất trong lĩnh vực tạo ảnh bằng AI.