Tại sao giá bộ nhớ tăng vọt vào cuối năm?

Investing.com - Giá bộ nhớ đã tăng mạnh trong những tháng gần đây khi các khối lượng công việc AI buộc các nhà cung cấp dịch vụ đám mây lớn phải mua nhiều DRAM và NAND hơn dự kiến.

Nhu cầu liên quan đến AI phức tạp hơn việc xây dựng trung tâm dữ liệu trên diện rộng. Thay vào đó, những thay đổi về phần mềm và kiến trúc mô hình đang tạo ra bước ngoặt trong lượng bộ nhớ mà mỗi GPU tiêu thụ, kéo theo nhiều DRAM và NAND hơn vào mỗi cụm máy chủ.

Một yếu tố thúc đẩy là các phiên bản mới của phần mềm CUDA của Nvidia, cho phép GPU sử dụng các vùng bộ nhớ lớn hơn trên toàn bộ hệ thống. Các tính năng trong CUDA 12.8 và 13.0 cho phép các mô hình xử lý bộ nhớ GPU và CPU như một không gian thống nhất, giúp việc phân bổ quá mức dễ dàng hơn và khuyến khích các nhà phát triển phân bổ các tập làm việc lớn hơn nhiều.

Điều đó có nghĩa là các máy chủ AI cần nhiều DRAM hơn và nhiều dung lượng SSD hơn trong nền để hỗ trợ phân trang và lưu trữ dữ liệu mô hình.

Sự mở rộng nhanh chóng của cửa sổ ngữ cảnh trong các mô hình ngôn ngữ lớn là một thay đổi quan trọng khác. Khi các mô hình xử lý đầu vào lên đến hàng trăm nghìn token, bộ nhớ trở thành điểm nghẽn chính.

Những chuỗi dài hơn này đòi hỏi nhiều VRAM hơn đáng kể để lưu giữ dữ liệu trung gian, và khi tràn bộ nhớ, hệ thống phải chuyển sang RAM máy chủ hoặc ổ SSD. Các nhà cung cấp dịch vụ đám mây lớn đã áp dụng hệ thống phân cấp này ở quy mô lớn, sử dụng ổ đĩa NVMe như một phần mở rộng của bộ nhớ hệ thống.

Ngữ cảnh dài hơn cũng đòi hỏi thông lượng cao hơn từ bộ nhớ lưu trữ. Việc đọc các lệnh nhắc lớn trong thời gian thực và hỗ trợ nhiều người dùng cùng lúc đòi hỏi NAND nhanh, dung lượng cao.

Các khối lượng công việc suy luận hiện đại liên quan đến việc đọc ngẫu nhiên thường xuyên trên các tham số mô hình và cơ sở dữ liệu, điều mà SSD xử lý tốt hơn nhiều so với ổ cứng. Điều này đang thúc đẩy các nhà cung cấp dịch vụ đám mây mở rộng các nhóm lưu trữ dựa trên flash được xây dựng trên NAND hiệu suất cao.

Các nhà phân tích của BofA cho biết những cải tiến trong CUDA và thuật toán chú ý mới giảm bớt một số chi phí bộ nhớ nhưng cuối cùng lại cho phép các khối lượng công việc lớn hơn.

Khi GPU xử lý các chuỗi dài hơn, các hệ thống cơ bản phải hỗ trợ nhiều dữ liệu hơn được truyền từ SSD. Thiết kế đa GPU cũng đóng vai trò bằng cách phân tán các mô hình và ngữ cảnh khổng lồ trên nhiều bộ tăng tốc, làm tăng nhu cầu bộ nhớ chung và đẩy nhiều dữ liệu hơn vào bộ nhớ flash.

Thị trường điện tử rộng lớn hơn cũng phục hồi cùng lúc với nhu cầu AI đã thắt chặt nguồn cung, tạo ra một "chu kỳ siêu" cho bộ nhớ.

Với chi tiêu cho PC, điện thoại và trung tâm dữ liệu truyền thống đang phục hồi, sự gia tăng trong NAND và DRAM liên quan đến AI đã khiến hàng tồn kho mỏng và đẩy giá tăng mạnh.

Bài viết này được tạo và dịch với sự hỗ trợ của AI và đã được biên tập viên xem xét. Để biết thêm thông tin, hãy xem Điều Kiện & Điều Khoản của chúng tôi.