Bài phát biểu của ông Powell, chip của Nvidia, thương vụ của Meta – điều gì đang làm thị trường biến động?
Investing.com -- Google đã giới thiệu Gemma 3 270M, một mô hình AI nhỏ gọn được thiết kế đặc biệt cho việc tinh chỉnh theo nhiệm vụ cụ thể với khả năng thực hiện hướng dẫn tích hợp sẵn.
Mô hình mới với 270 triệu tham số này gia nhập gia đình Gemma đang mở rộng của Google, gần đây đã đạt mốc hơn 200 triệu lượt tải xuống. Gemma 3 270M có 170 triệu tham số nhúng và 100 triệu tham số khối biến đổi, với bộ từ vựng lớn gồm 256.000 token cho phép xử lý các token đặc biệt và hiếm gặp.
Một tính năng nổi bật của mô hình mới là hiệu quả năng lượng. Các bài kiểm tra nội bộ trên SoC Pixel 9 Pro cho thấy mô hình lượng tử hóa INT4 chỉ tiêu thụ 0,75% pin cho 25 cuộc hội thoại, khiến nó trở thành mô hình Gemma tiết kiệm năng lượng nhất của Google cho đến nay.
Google đang định vị Gemma 3 270M là lựa chọn lý tưởng cho các nhiệm vụ được xác định rõ ràng với khối lượng lớn như phân tích tình cảm, trích xuất thực thể và viết sáng tạo. Công ty gợi ý rằng mô hình này đặc biệt phù hợp khi các nhà phát triển cần tối ưu hóa chi phí và tốc độ, yêu cầu lặp lại và triển khai nhanh chóng, cần đảm bảo quyền riêng tư của người dùng với xử lý trên thiết bị, hoặc muốn tạo nhiều mô hình nhiệm vụ chuyên biệt.
Mô hình này có sẵn ở cả phiên bản đã được đào tạo trước và phiên bản đã được tinh chỉnh theo hướng dẫn, với các điểm kiểm tra Đào tạo Nhận thức Lượng tử hóa cho phép hoạt động ở độ chính xác INT4 với sự suy giảm hiệu suất tối thiểu. Các nhà phát triển có thể tải xuống Gemma 3 270M từ các nền tảng bao gồm Hugging Face, Ollama, Kaggle, LM Studio, hoặc Docker, và có thể thử nghiệm trên Vertex AI hoặc với các công cụ suy luận như llama.cpp và Keras.
Google đã dẫn một ví dụ thực tế về cách tiếp cận mô hình chuyên biệt với SK Telecom, nơi mô hình Gemma 3 4B được tinh chỉnh vượt trội hơn các mô hình độc quyền lớn hơn trong việc kiểm duyệt nội dung đa ngôn ngữ.
Bài viết này được tạo và dịch với sự hỗ trợ của AI và đã được biên tập viên xem xét. Để biết thêm thông tin, hãy xem Điều Kiện & Điều Khoản của chúng tôi.