Một thử nghiệm độc lập tốn tới 3.000 USD tiền thuê GPU vừa trả lời câu hỏi mà nhiều người mê AI chạy cục bộ vẫn thắc mắc: nén mô hình ngôn ngữ lớn (LLM) xuống dung lượng nhỏ hơn có làm nó dở đi không? Với mô hình mã nguồn mở Qwen3.8 27B do Alibaba phát triển, câu trả lời là gần như không, miễn nén đúng mức.

Từ 55 GB xuống còn 17 GB

Bản gốc đầy đủ của Qwen3.8 27B nặng 55 GB, vượt quá khả năng của hầu hết máy tính cá nhân. Nhưng bản nén 4-bit (Q4_K_M) chỉ còn 17 GB lại đạt điểm số ngang bằng bản gốc trên bài kiểm tra lập trình tự động Terminal-Bench 2.1, và vừa vặn chạy trên một card đồ họa NVIDIA (NVDA) RTX 4090 phổ biến, vẫn còn dư bộ nhớ để xử lý văn bản dài.

Nén quá tay sẽ phản tác dụng

Tuy nhiên mọi thứ đều có giới hạn. Khi nén xuống chỉ còn 1 bit, mô hình gần như đoán mò trên bài kiểm tra kiến thức khoa học GPQA Diamond, và để nó suy luận càng lâu thì kết quả càng tệ hơn. Phát hiện này rất hữu ích cho các lập trình viên và startup nhỏ trong lĩnh vực công nghệ muốn tự triển khai AI mà không cần thuê máy chủ đắt tiền, miễn chọn đúng mức nén 4-bit thay vì cố ép xuống mức thấp hơn để tiết kiệm thêm.