SAN JOSE, Calif. - NVIDIA đã giới thiệu một bộ vi dịch vụ AI mới được thiết kế để giúp các doanh nghiệp triển khai các ứng dụng tùy chỉnh hiệu quả hơn. Các vi dịch vụ NVIDIA NIM, chạy trên nền tảng NVIDIA CUDA, cho phép suy luận được tối ưu hóa trên một loạt các mô hình AI, nhằm giảm thời gian triển khai từ vài tuần xuống còn vài phút.
Danh mục vi dịch vụ gốc đám mây được xây dựng để hỗ trợ cơ sở cài đặt CUDA của NVIDIA, bao gồm hàng trăm triệu GPU trên các nền tảng khác nhau như đám mây, trung tâm dữ liệu, máy trạm và PC. Các dịch vụ này nhằm cung cấp cho các doanh nghiệp các công cụ để trở thành các tổ chức do AI điều khiển trong khi vẫn duy trì quyền sở hữu và kiểm soát tài sản trí tuệ của họ.
Các vi dịch vụ AI cấp doanh nghiệp của NVIDIA là một phần của dịch vụ NVIDIA AI Enterprise 5.0 và có thể truy cập từ các dịch vụ đám mây lớn như Amazon SageMaker, Google Kubernetes Engine và Microsoft Azure AI. Chúng tích hợp với các khung AI phổ biến và được hỗ trợ trên hơn 400 Hệ thống được NVIDIA chứng nhận từ các nhà cung cấp phần cứng hàng đầu.
ServiceNow là một trong những công ty đầu tiên sử dụng các dịch vụ này để phát triển các ứng dụng AI dành riêng cho miền. Các công ty khác, bao gồm Adobe, Cadence, CrowdStrike, Getty Images, SAP, ServiceNow và Shutterstock, cũng đang truy cập vào các vi dịch vụ mới để chuyển đổi dữ liệu của họ thành khả năng AI.
NIM Inference Microservices được cung cấp bởi phần mềm suy luận NVIDIA, bao gồm Triton Inference Server và TensorRT-LLM, đồng thời cung cấp các API tiêu chuẩn ngành cho các lĩnh vực khác nhau như khám phá ngôn ngữ và thuốc. Các container dựng sẵn này được thiết kế để cho phép mở rộng quy mô nhanh chóng và hiệu suất cao cho các ứng dụng AI trong môi trường sản xuất.
Hơn nữa, NVIDIA đã công bố vi dịch vụ CUDA-X cho các tác vụ như thế hệ tăng cường truy xuất (RAG), xử lý dữ liệu và lan can, cũng như tính toán hiệu năng cao (HPC). Các dịch vụ này tạo điều kiện thuận lợi cho việc chuẩn bị, tùy chỉnh và đào tạo dữ liệu để đẩy nhanh quá trình phát triển AI trong các ngành.
Các đối tác hệ sinh thái, bao gồm Box, Cloudera, Cohesity, Datastax, Dropbox và NetApp, đang hợp tác với NVIDIA để tích hợp dữ liệu độc quyền vào các ứng dụng AI tạo ra. Snowflake đang tận dụng các vi dịch vụ NeMo Retriever để sử dụng dữ liệu doanh nghiệp để phát triển ứng dụng AI.
Các nhà phát triển có thể thử nghiệm với các vi dịch vụ NVIDIA miễn phí thông qua ai.nvidia.com. Để triển khai sản xuất, doanh nghiệp có thể sử dụng NVIDIA AI Enterprise 5.0 trên các Hệ thống được NVIDIA chứng nhận và các nền tảng đám mây hàng đầu.
Thông báo này dựa trên một tuyên bố thông cáo báo chí từ NVIDIA.
Bài viết này được tạo và dịch với sự hỗ trợ của AI và đã được biên tập viên xem xét. Để biết thêm thông tin, hãy xem Điều Kiện & Điều Khoản của chúng tôi.