Zyphra huấn luyện mô hình MoE quy mô lớn đầu tiên trên phần cứng AMD

SANTA CLARA, Calif. - Zyphra đã phát triển ZAYA1, mô hình nền tảng Mixture-of-Experts (MoE) quy mô lớn đầu tiên được huấn luyện hoàn toàn trên phần cứng AMD, theo thông cáo báo chí từ AMD (NASDAQ:AMD), một công ty hàng đầu trong ngành Bán dẫn với giá trị vốn hóa thị trường 331,76 tỷ USD.

Mô hình này được huấn luyện bằng GPU AMD Instinct MI300X, mạng AMD Pensando và bộ phần mềm mã nguồn mở AMD ROCm, như được chi tiết trong báo cáo kỹ thuật do Zyphra công bố vào hôm thứ Hai.

Theo kết quả đánh giá, ZAYA1-Base, với tổng cộng 8,3 tỷ tham số nhưng chỉ có 760 triệu tham số hoạt động cùng lúc, có hiệu suất tương đương hoặc vượt trội so với một số mô hình nổi bật trong các tác vụ lập luận, toán học và lập trình. Các mô hình này bao gồm Qwen3-4B từ Alibaba, Gemma3-12B từ Google, Llama-3-8B từ Meta, và OLMoE. Mặc dù cổ phiếu AMD đã giảm đáng kể 15,28% trong tuần qua, dữ liệu từ InvestingPro cho thấy lợi nhuận ấn tượng trong sáu tháng là 84,73%, phản ánh sự tin tưởng của nhà đầu tư vào chiến lược AI của AMD. Người đăng ký có thể truy cập hơn 20 ProTips bổ sung và phân tích toàn diện trong Báo cáo Nghiên cứu Pro của AMD.

Dung lượng bộ nhớ băng thông cao 192 GB của GPU AMD Instinct MI300X đã cho phép Zyphra tránh phân mảnh chuyên gia hoặc tensor trong quá trình huấn luyện, điều mà công ty cho rằng đã giảm độ phức tạp và cải thiện thông lượng. Zyphra cũng báo cáo đạt được thời gian lưu mô hình nhanh hơn hơn 10 lần bằng cách sử dụng I/O phân tán được tối ưu hóa bởi AMD.

"Hiệu quả luôn là nguyên tắc cốt lõi hướng dẫn tại Zyphra. Nó định hình cách chúng tôi thiết kế kiến trúc mô hình, phát triển thuật toán cho đào tạo và suy luận, và lựa chọn phần cứng có hiệu suất giá tốt nhất," ông Krithik Puthalath, Giám đốc điều hành của Zyphra cho biết.

Đối với cơ sở hạ tầng đào tạo, Zyphra đã hợp tác với AMD và IBM để triển khai một cụm quy mô lớn kết hợp GPU AMD Instinct MI300X với cấu trúc vải và lưu trữ của IBM Cloud.

Sự phát triển này thể hiện khả năng của phần cứng AMD cho các khối lượng công việc AI quy mô sản xuất, theo ông Emad Barsoum, phó chủ tịch doanh nghiệp về AI và kỹ thuật tại Nhóm Trí tuệ Nhân tạo của AMD. AMD đang ở vị thế thuận lợi để tận dụng sự tăng trưởng AI với dự báo của các nhà phân tích về mức tăng doanh thu 32% trong năm nay. Công ty hoạt động với mức nợ vừa phải và duy trì thanh khoản mạnh với tỷ số thanh toán hiện hành là 2,31. Theo đánh giá Giá trị Hợp lý của InvestingPro, AMD dường như đang giao dịch gần với giá trị hợp lý của nó mặc dù có tỷ lệ P/E cao là 108. Khám phá hồ sơ sức khỏe tài chính đầy đủ và triển vọng tăng trưởng của AMD trong Báo cáo Nghiên cứu Pro toàn diện, chỉ có sẵn cho người đăng ký.

Trong các tin tức gần đây khác, Advanced Micro Devices (AMD) đã tích cực tham gia vào một số phát triển quan trọng. AMD và Eviden, một phần của Tập đoàn Atos, đã được chọn để xây dựng Alice Recoque, một siêu máy tính thế hệ tiếp theo, sẽ là hệ thống exascale đầu tiên của Pháp và thứ hai của châu Âu. Dự án trị giá 544 triệu euro này là một nỗ lực hợp tác được tài trợ bởi EuroHPC JU, với sự đóng góp từ một số tổ chức châu Âu. Về mặt tài chính, TD Cowen đã tái khẳng định xếp hạng Mua cho AMD, duy trì mức giá mục tiêu 290 USD, trích dẫn tiềm năng của công ty trong thị trường trí tuệ nhân tạo đang phát triển. Tương tự, Truist Securities cũng đã tái khẳng định xếp hạng Mua với mức giá mục tiêu 279 USD, nhấn mạnh tiềm năng tăng trưởng thu nhập của AMD và vai trò của nó như một đối tác đáng tin cậy trong các lĩnh vực trung tâm dữ liệu và AI. Raymond James đã giả định bảo hiểm của AMD với xếp hạng Vượt trội và mức giá mục tiêu 337 USD, công nhận vị trí dẫn đầu của công ty trong CPU, APU và GPU. Ngoài ra, Super Micro Computer Inc đã giới thiệu một máy chủ được tăng tốc AI mới được cung cấp bởi GPU AMD Instinct MI355X, hứa hẹn những cải tiến đáng kể trong hiệu suất tính toán và suy luận AI. Những phát triển này phản ánh những tiến bộ chiến lược của AMD trong công nghệ và quan hệ đối tác, đang thu hút sự chú ý từ các công ty đầu tư.

Bài viết này được tạo và dịch với sự hỗ trợ của AI và đã được biên tập viên xem xét. Để biết thêm thông tin, hãy xem Điều Kiện & Điều Khoản của chúng tôi.