Nhóm ngân hàng đứng sau Broadcom (AVGO) đang bắt đầu gom gói tài chính 60 tỷ USD cho chip AI, chủ yếu phục vụ Anthropic. Gói này gồm 42 tỷ USD nợ có tài sản bảo đảm ưu tiên và 18 tỷ USD nợ thứ cấp do Blackstone (BX) dẫn đầu. Anthropic cam kết thuê năng lực tính toán TPU trị giá khoảng 125,2 tỷ USD trong năm năm. Câu hỏi kỹ thuật thú vị là: làm sao hàng nghìn con chip TPU được nối với nhau thành một cỗ máy duy nhất?

Vì sao chip AI cần mạng nối riêng

Huấn luyện một mô hình lớn không chạy trên một con chip. Nó được chia cho hàng nghìn chip, và sau mỗi bước tính, các chip phải trao đổi kết quả với nhau. Nếu đường truyền chậm, chip sẽ ngồi chờ và tiền thuê điện toán bị đốt vô ích. Vì vậy, cách nối chip quan trọng ngang với bản thân con chip.

Các cụm TPU của Google, dòng chip do Broadcom tham gia thiết kế, thường xếp chip theo dạng lưới ba chiều. Mỗi chip kết nối trực tiếp với các chip lân cận theo từng hướng, giống như các ô trong một khối Rubik.

Công tắc mạch quang hoạt động thế nào

Điểm đáng chú ý là các cụm lớn dùng công tắc mạch quang (optical circuit switch). Thay vì đổi tín hiệu quang thành điện rồi lại thành quang ở mỗi nút mạng, thiết bị này dùng những tấm gương cực nhỏ (MEMS) xoay góc để hắt thẳng tia sáng từ cổng này sang cổng khác. Ánh sáng đi qua mà không bị giải mã, nên độ trễ thấp và tiết kiệm điện.

Lợi ích thực tế rất rõ. Khi một chip hoặc một tủ máy hỏng, người vận hành xoay gương để nối vòng qua phần hỏng, không cần dừng cả đợt huấn luyện. Họ cũng có thể đổi hình dạng lưới để hợp với từng loại mô hình.

Hạn chế là gương cần vài mili giây để xoay, nên công tắc này hợp với đường truyền ổn định hơn là chuyển gói tin liên tục. Với những hợp đồng trị giá hàng chục tỷ USD, mỗi phần trăm hiệu suất mạng đều đáng giá hàng trăm triệu USD. Xem thêm về AI và NVIDIA, đối thủ chính của hướng đi này.