Reddit đã thông báo vào thứ ba rằng họ sẽ sửa đổi một tiêu chuẩn web để ngăn chặn việc thu thập dữ liệu tự động trên nền tảng của mình. Động thái này là một phản ứng với các báo cáo rằng các công ty khởi nghiệp AI đã lách các quy tắc hiện có để thu thập nội dung cho hệ thống của họ. Công ty truyền thông xã hội được thiết lập để cập nhật Giao thức loại trừ robot, thường được gọi là "robots.txt", quy định các phần của trang web có thể được truy cập bởi trình thu thập thông tin tự động.
Quyết định này được đưa ra trong bối cảnh lo ngại về việc các công ty trí tuệ nhân tạo bị cáo buộc đạo văn nội dung từ các nhà xuất bản để tạo ra các bản tóm tắt do AI tạo ra mà không có sự ghi công hoặc cho phép thích hợp. Các biện pháp cập nhật của Reddit sẽ bao gồm việc duy trì giới hạn tốc độ để kiểm soát khối lượng yêu cầu mà một người dùng có thể thực hiện, cũng như chặn các bot và trình thu thập thông tin không xác định thu thập dữ liệu từ trang web.
Việc sử dụng "robots.txt" đã trở nên nổi bật khi các nhà xuất bản tìm cách bảo vệ nội dung của họ khỏi bị các công ty công nghệ sử dụng để đào tạo các thuật toán AI và tạo tóm tắt cho các truy vấn tìm kiếm nhất định mà không phải bồi thường. Tuần trước, TollBit, một công ty khởi nghiệp cấp phép nội dung, đã gửi thư cho các nhà xuất bản tiết lộ rằng nhiều công ty AI đã bỏ qua tiêu chuẩn web để thu thập nội dung từ các trang web của nhà xuất bản.
Một cuộc điều tra của Wired hồi đầu tháng 6 cho thấy công ty tìm kiếm AI Perplexity có thể đã phá vỡ các biện pháp chặn trình thu thập dữ liệu web của mình thông qua "robots.txt". Trong một sự cố liên quan, Forbes đã cáo buộc Perplexity vào đầu tháng 6 đã đạo văn các câu chuyện điều tra của mình để sử dụng trong các hệ thống AI tạo ra mà không có tín dụng.
Mặc dù thắt chặt quyền truy cập, Reddit đã xác nhận rằng các nhà nghiên cứu và các tổ chức như Internet Archive vẫn có thể truy cập nội dung của nó, miễn là việc sử dụng chúng là phi thương mại. Điều này đảm bảo rằng trong khi công ty thực hiện các bước để bảo vệ nội dung của mình khỏi bị cạo trái phép, nó vẫn tiếp tục hỗ trợ các hoạt động nghiên cứu và lưu trữ hợp pháp.
Reuters đã đóng góp cho bài viết này.Bài viết này được tạo và dịch với sự hỗ trợ của AI và đã được biên tập viên xem xét. Để biết thêm thông tin, hãy xem Điều Kiện & Điều Khoản của chúng tôi.