Google (GOOGL) vừa phát hành TorchTPU, một backend mã nguồn mở giúp các mô hình PyTorch chạy trực tiếp trên chip TPU của hãng. Dự án đã thu hút hàng trăm lượt upvote trên Hacker News, cho thấy cộng đồng lập trình viên khá quan tâm.

Vì sao điều này quan trọng?

PyTorch, framework do Meta (META) khởi xướng, là công cụ phổ biến nhất để xây dựng AI. Trước đây, muốn tận dụng TPU, nhà phát triển thường phải viết lại code theo hệ sinh thái riêng của Google. Giờ đây, họ có thể giữ nguyên mã PyTorch quen thuộc và chuyển sang TPU, giống như cắm thêm một ổ cứng mới mà không phải cài lại cả máy tính.

Những gì có trong bộ công cụ

TorchTPU hỗ trợ huấn luyện phân tán trên nhiều chip, tích hợp với torch.compile() và có sẵn ví dụ cho các mô hình như Llama, Qwen, ResNet hay UNet. Bộ nhớ đệm biên dịch giúp chạy nhanh hơn ở những lần sau. Phiên bản 0.2.0 đã có trên PyPI, yêu cầu Python 3.11 trở lên.

Tác động với thị trường

Lâu nay GPU của NVIDIA (NVDA) gần như thống trị việc huấn luyện AI. Khi TPU dễ dùng hơn, các startup và phòng nghiên cứu có thể có thêm lựa chọn, và điều này có thể giúp giảm chi phí. Đây là tin tốt cho cả ngành công nghệ Mỹ lẫn các đội ngũ AI trẻ ở Việt Nam.