Công NghệGrokking

Grokking: NVIDIA RTX Spark lên kệ, nhưng bộ nhớ hợp nhất giúp CPU và GPU dùng chung dữ liệu ra sao?

Máy tính RTX Spark có tới 128GB bộ nhớ hợp nhất. Bài giải thích vì sao CPU và GPU dùng chung một vùng nhớ lại thay đổi cách chạy AI cục bộ.

Phương Ly|
Grokking: NVIDIA RTX Spark lên kệ, nhưng bộ nhớ hợp nhất giúp CPU và GPU dùng chung dữ liệu ra sao?
Photo: Foysal Ahmed — via Pexels • Nguồn ảnh

Các máy tính RTX Spark của NVIDIA được giới thiệu với tối đa 20 nhân CPU Arm, 6.144 nhân đồ họa Blackwell RTX và 128GB bộ nhớ hợp nhất. Cụm từ đáng chú ý nhất không phải là số nhân, mà là chữ "hợp nhất". Bài viết này sẽ đi vào cơ chế bên trong.

Vấn đề của máy tính truyền thống

Trong một chiếc PC thông thường, CPU dùng RAM hệ thống, còn GPU rời có bộ nhớ riêng (VRAM). Muốn GPU xử lý dữ liệu, chương trình phải sao chép dữ liệu từ RAM sang VRAM qua đường truyền PCIe, rồi sao chép kết quả ngược lại. Hình dung hai người làm việc ở hai bàn khác nhau, mỗi lần trao đổi phải photo tài liệu và chuyển qua hành lang. Với mô hình AI nặng hàng chục gigabyte, việc photo này tốn thời gian, tốn điện, và VRAM nhỏ trở thành nút thắt: mô hình không vừa VRAM là không chạy được.

Bộ nhớ hợp nhất làm gì khác

Trong thiết kế hợp nhất, CPU và GPU nằm trên cùng một con chip (SoC) và cùng truy cập một vùng nhớ vật lý. Thay vì sao chép, CPU chỉ cần đưa cho GPU một con trỏ, tức địa chỉ của dữ liệu. Cả hai cùng nhìn thấy một bản duy nhất. Giống như hai người ngồi chung một bàn, cùng đọc một tập tài liệu.

Hệ quả đầu tiên là dung lượng: GPU có thể dùng phần lớn trong 128GB thay vì bị giới hạn ở vài chục gigabyte VRAM. Điều này đặc biệt quan trọng với AI cục bộ, nơi mô hình ngôn ngữ lớn cần chứa trọn trong bộ nhớ. Hệ quả thứ hai là độ trễ: bỏ được bước sao chép nên các tác vụ xen kẽ giữa CPU và GPU, như tiền xử lý rồi suy luận, chạy trơn tru hơn.

Cái giá phải trả

Không có bữa trưa miễn phí. CPU và GPU phải chia sẻ băng thông của cùng bộ nhớ, nên khi cả hai cùng đòi dữ liệu, chúng tranh nhau đường truyền. Hệ điều hành cũng phải khéo léo hơn trong việc điều phối công việc, quản lý điện năng và cấp phát bộ nhớ. Microsoft cho biết Windows đã được tinh chỉnh bộ lập lịch, quản lý năng lượng và xử lý bộ nhớ cho kiến trúc không đồng nhất này.

Hướng đi này quen thuộc với người dùng máy Mac dùng chip Apple Silicon, nay đến với thế giới Windows. Với lập trình viên, ý nghĩa thực tế là một chiếc laptop mỏng có thể chạy mô hình AI lớn tại chỗ, không cần gửi dữ liệu lên đám mây. Theo các thông tin công bố, các mẫu từ ASUS, Dell, HP, Lenovo, Microsoft Surface và MSI đã bắt đầu được bán.

Chia sẻ

Bình luận (0)

0/1000
Đang tải...

Tin cùng chuyên mục

Xem tất cả →

Dành cho bạn