Một cựu kỹ sư FAANG đã gây chú ý khi quyết định bỏ việc vào năm 2024 để trở thành nhà nghiên cứu độc lập. Để có đủ sức mạnh tính toán cho các thí nghiệm AI, anh đã tự xây dựng một server GPU mang tên “grumbl” với 6 card RTX 6000 Ada, tổng chi phí lên tới 48.000 USD. Câu chuyện này không chỉ là về phần cứng mà còn là bài toán kinh tế giữa tự build server và thuê cloud GPU.

Tại sao lại chọn tự build thay vì thuê cloud?

Theo tác giả, chi phí 48.000 USD nghe có vẻ lớn, nhưng nếu so với mức thu nhập mất đi khi nghỉ việc, việc sở hữu GPU mạnh hơn giúp rút ngắn thời gian nghiên cứu từ 2 tháng trở lên, khiến khoản đầu tư này trở nên hợp lý. Anh đã tính toán kỹ, so sánh giữa các dòng GPU như A100, H100 của NVIDIA (NVDA) và RTX 6000 Ada, cuối cùng chọn 6000 Ada vì hỗ trợ FP8 và hiệu suất inference tốt hơn cho các tác vụ Reinforcement Learning.

Vấn đề điện năng và giải pháp

Vì sống trong căn hộ, không thể nâng cấp hệ thống điện, anh đã phải dùng hai bộ nguồn cắm vào hai ổ riêng biệt trên hai mạch điện khác nhau. Để đảm bảo an toàn, anh thuê thợ chuyên nghiệp lắp ráp, tránh nguy cơ cháy nổ. Sau đó, server được chuyển về nhà bố mẹ, nơi có thể nâng cấp điện thoải mái.

Kết quả: Tự build rẻ hơn cloud nếu dùng 85%+ thời gian

Sau một năm theo dõi, tác giả nhận thấy nếu sử dụng GPU liên tục trên 85% thời gian, chi phí tự build sẽ rẻ hơn so với thuê cloud on-demand. Anh còn viết script log chi tiết mức sử dụng từng GPU và điện năng tiêu thụ. Tuy nhiên, nếu tính cả khấu hao phần cứng và sự ra đời của GPU mới, bài toán kinh tế có thể thay đổi. Câu chuyện này là minh chứng cho thấy xu hướng ngày càng nhiều nhà nghiên cứu AI độc lập chọn tự xây dựng hạ tầng thay vì phụ thuộc hoàn toàn vào cloud, một bước tiến quan trọng trong làng AI và công nghệ.