Một người đã chứng minh rằng bạn không cần GPU đắt tiền để chạy AI thế hệ mới. Người này vận hành mô hình ngôn ngữ lớn Gemma 4 của Google trên một server tái chế với CPU Intel Xeon E5-2620 v4 ra mắt năm 2016, RAM DDR3 128 GB và hoàn toàn không có card đồ họa. Kết quả thử nghiệm cho thấy ngay cả phần cứng 10 năm tuổi vẫn có thể xử lý tác vụ AI, dù tốc độ sinh token chậm hơn nhiều so với máy trạm hiện đại.

Tối ưu hóa thay vì nâng cấp phần cứng

Bí quyết nằm ở việc tinh chỉnh sâu llama.cpp thay vì dùng công cụ mặc định như Ollama vốn thiếu hỗ trợ Gemma 4. Người này đã tận dụng tối đa băng thông bộ nhớ DDR3 và các lệnh AVX2 trên CPU Xeon. Trong quá trình sinh văn bản (decoder pass), băng thông RAM là nút thắt cổ chai, toàn bộ trọng số mô hình phải được tải từ bộ nhớ vào CPU cache liên tục. Với phần cứng yếu, mỗi token mất hàng giây, nhưng vẫn khả thi.

Ý nghĩa với cộng đồng AI và startup

Câu chuyện này mở ra hướng tiếp cận mới cho các nhà phát triển: thay vì đầu tư hàng chục nghìn USD vào GPU NVIDIA, họ có thể tận dụng máy chủ cũ giá rẻ để chạy thử nghiệm LLM. Phương pháp này đặc biệt hữu ích khi các mô hình mã nguồn mở như Gemma 4 ngày càng phổ biến. Tuy nhiên, hiệu suất chỉ phù hợp cho tác vụ không yêu cầu thời gian thực như phân tích dữ liệu theo lô hay tạo nội dung hàng loạt.

Bài viết gốc nhấn mạnh rằng tối ưu hóa phần mềm có thể kéo dài tuổi thọ phần cứng cũ, giúp chạy AI dễ dàng hơn. Đây là minh chứng cho sức mạnh của cộng đồng mã nguồn mở trong việc phá vỡ rào cản phần cứng. Theo dõi thêm công nghệ và AI để cập nhật xu hướng mới nhất.