Kiến trúc của NVIDIA mang lại bước nhảy vọt về hiệu suất gấp 10 lần cho các mô hình AI phức tạp

Investing.com -- Hệ thống quy mô giá đỡ GB200 NVL72 của NVIDIA đang mang lại bước nhảy vọt về hiệu suất gấp 10 lần cho các mô hình AI hỗn hợp chuyên gia (MoE) so với phần cứng thế hệ trước, làm thay đổi cách triển khai các mô hình AI tiên tiến, theo bài đăng mới nhất trên blog của công ty.

Kiến trúc MoE, bắt chước não người bằng cách chỉ kích hoạt các thành phần "chuyên gia" liên quan cho từng nhiệm vụ, đã trở thành phương pháp tiếp cận chủ đạo cho các mô hình AI hàng đầu. Bảng xếp hạng Artificial Analysis cho thấy 10 mô hình mã nguồn mở thông minh nhất đều sử dụng kiến trúc MoE, bao gồm DeepSeek-R1, Kimi K2 Thinking của Moonshot AI, gpt-oss-120B của OpenAI, và Mistral Large 3.

Hệ thống NVIDIA GB200 NVL72 kết hợp 72 GPU Blackwell hoạt động như một đơn vị duy nhất, cung cấp hiệu suất AI 1,4 exaflops với 30TB bộ nhớ chia sẻ. NVLink Switch của hệ thống tạo ra một cấu trúc thống nhất với khả năng kết nối 130 TB/giây, cho phép các chuyên gia được phân bổ trên tối đa 72 GPU.

Thiết kế này trực tiếp giải quyết các thách thức mở rộng MoE chính bằng cách giảm số lượng chuyên gia trên mỗi GPU và tăng tốc giao tiếp giữa các chuyên gia. Hệ thống cũng tích hợp khung NVIDIA Dynamo và định dạng NVFP4 để nâng cao hiệu suất hơn nữa.

"Tại CoreWeave, khách hàng của chúng tôi đang tận dụng nền tảng của chúng tôi để đưa các mô hình hỗn hợp chuyên gia vào sản xuất khi họ xây dựng quy trình công việc tự động," ông Peter Salanki, đồng sáng lập và giám đốc công nghệ tại CoreWeave cho biết.

GB200 NVL72 đang được triển khai bởi các nhà cung cấp đám mây lớn bao gồm Amazon Web Services, Google Cloud, Microsoft Azure, và Oracle Cloud Infrastructure, cùng nhiều đơn vị khác.

DeepL đang sử dụng hệ thống Blackwell NVL72 để đào tạo các mô hình AI thế hệ tiếp theo của họ. "DeepL đang tận dụng phần cứng NVIDIA GB200 để đào tạo các mô hình hỗn hợp chuyên gia, nâng cao kiến trúc mô hình để cải thiện hiệu quả trong quá trình đào tạo và suy luận," ông Paul Busch, trưởng nhóm nghiên cứu tại DeepL cho biết.

Sự cải thiện hiệu suất gấp 10 lần chuyển thành doanh thu token gấp 10 lần, cải thiện đáng kể hiệu quả kinh tế của việc triển khai AI trong các trung tâm dữ liệu bị hạn chế về năng lượng. Ông Jensen Huang, nhà sáng lập và CEO của NVIDIA đã nhấn mạnh bước nhảy vọt về hiệu suất này cho DeepSeek-R1 tại NVIDIA GTC Washington, D.C.

Fireworks AI đã triển khai Kimi K2 trên nền tảng NVIDIA B200. "Thiết kế quy mô giá đỡ NVIDIA GB200 NVL72 làm cho việc phục vụ mô hình MoE hiệu quả hơn đáng kể," bà Lin Qiao, đồng sáng lập và CEO của Fireworks AI cho biết.

Mô hình Kinnie mới cũng đạt được mức tăng hiệu suất gấp 10 lần trên GB200 NVL72 so với H200, dẫn đến trải nghiệm người dùng tốt hơn, chi phí trên mỗi token thấp hơn và hiệu quả năng lượng cao hơn.

Bài viết này được tạo và dịch với sự hỗ trợ của AI và đã được biên tập viên xem xét. Để biết thêm thông tin, hãy xem Điều Kiện & Điều Khoản của chúng tôi.