Ông Trump công bố thỏa thuận thương mại lịch sử với EU
Investing.com — Amazon (NASDAQ:AMZN) đã thông báo về việc phát hành rộng rãi công cụ Bedrock Intelligent Prompt Routing. Công cụ này, được giới thiệu từ tháng 12, cung cấp một điểm cuối serverless duy nhất để định hướng hiệu quả các yêu cầu giữa các mô hình nền tảng khác nhau trong cùng một họ mô hình. Nó thực hiện điều này bằng cách dự đoán động chất lượng phản hồi của từng mô hình cho một yêu cầu và sau đó chuyển yêu cầu đến mô hình phù hợp nhất dựa trên chi phí và chất lượng phản hồi.
Trong vài tháng qua, Amazon đã triển khai nhiều cải tiến trong hệ thống định tuyến thông minh. Những cải tiến này được thúc đẩy bởi phản hồi của khách hàng và quá trình kiểm tra nội bộ rộng rãi. Mục tiêu là tạo điều kiện cho việc định tuyến tự động, tối ưu giữa các mô hình ngôn ngữ lớn (LLMs) thông qua Amazon Bedrock Intelligent Prompt Routing. Công cụ này có hiểu biết sâu sắc về hành vi mô hình trong mỗi họ mô hình, bao gồm các phương pháp tiên tiến để đào tạo bộ định tuyến cho các bộ mô hình, tác vụ và lệnh nhắc khác nhau.
Người dùng hiện có thể sử dụng Amazon Bedrock Intelligent Prompt Routing với các bộ định tuyến lệnh mặc định do Amazon Bedrock cung cấp hoặc cấu hình bộ định tuyến lệnh riêng của họ. Điều này cho phép điều chỉnh hiệu suất một cách tuyến tính giữa hiệu suất của hai LLM ứng viên. Các bộ định tuyến lệnh mặc định được Amazon Bedrock cung cấp cho mỗi họ mô hình. Những bộ định tuyến này đi kèm với các cài đặt được xác định trước và được thiết kế để hoạt động ngay với các mô hình nền tảng cụ thể. Chúng cung cấp một giải pháp đơn giản, sẵn sàng sử dụng mà không cần phải cấu hình bất kỳ cài đặt định tuyến nào.
Amazon Bedrock Intelligent Prompt Routing hiện hỗ trợ nhiều mô hình hơn từ các họ Amazon Nova, Anthropic và Meta. Điều này bao gồm họ Claude của Anthropic, họ Llama và họ Nova. Người dùng cũng có thể định nghĩa cấu hình định tuyến riêng của họ được điều chỉnh theo nhu cầu và sở thích cụ thể.
Amazon đã giảm chi phí phụ trội của các thành phần bổ sung hơn 20% xuống còn khoảng 85 ms. Khi bộ định tuyến ưu tiên gọi mô hình ít tốn kém hơn trong khi vẫn duy trì cùng độ chính xác cơ bản trong tác vụ, người dùng có thể mong đợi lợi ích tổng thể về độ trễ và chi phí so với việc luôn sử dụng mô hình lớn hơn và đắt hơn, bất chấp chi phí phụ trội bổ sung.
Bài viết này được tạo và dịch với sự hỗ trợ của AI và đã được biên tập viên xem xét. Để biết thêm thông tin, hãy xem Điều Kiện & Điều Khoản của chúng tôi.