Google GOOGL $336.82 (▼0.1%) vừa công bố chip TPU thế hệ 8 tại sự kiện Cloud Next ngày 22/4, chia thành hai phiên bản chuyên biệt: TPU 8t cho huấn luyện mô hình AI và TPU 8i cho suy luận. Đây là bước đi táo bạo nhất của Google nhằm thách thức vị thế thống lĩnh của NVIDIA NVDA $201.70 (▲0.3%) trong thị trường chip AI trị giá hàng trăm tỷ USD.

Hiệu năng vượt trội

TPU 8t có thể mở rộng lên 9.600 chip trong một superpod duy nhất, cung cấp 2 petabyte bộ nhớ băng thông cao (HBM), với băng thông liên chip gấp đôi thế hệ Ironwood trước đó. Hiệu năng tính toán đạt 121 exaflop ở định dạng FP4, gần gấp ba lần Ironwood trên mỗi pod. Phiên bản TPU 8i dành cho suy luận được thiết kế với băng thông bộ nhớ cao hơn để giảm độ trễ, mở rộng tới 1.152 chip mỗi pod với hiệu năng 11,6 exaflop FP8 và tổng dung lượng HBM $24.68 (▲0.6%) 331,8 TB.

Google phát triển phần cứng này cùng Google DeepMind, phản ánh xu hướng toàn ngành chuyển từ huấn luyện sang triển khai suy luận quy mô lớn. Google cũng đang hợp tác với Marvell Technology để phát triển đơn vị xử lý bộ nhớ và TPU tối ưu cho suy luận, đa dạng hóa nhà cung cấp chip ngoài Broadcom AVGO $418.71 (▲2.9%) vốn là đối tác lâu năm.