OpenAI, Google, Microsoft і Anthropic підтримали спільну відмову від AI-скрейпінгу

OpenAI, Google, Microsoft і Anthropic заявили про підтримку нового спільного сигналу, який дозволить власникам сайтів відмовлятися від збору їхнього вмісту для навчання моделей штучного інтелекту. Інструмент має дати видавцям змогу встановлювати такі налаштування одразу для кількох AI-компаній, а не окремо для кожної.

Єдиний сигнал у robots.txt

Як повідомляє The Verge, запропонований механізм називають спільним сигналом «policy token». Його планують розміщувати у файлі robots.txt — стандартному файлі сайту, який уже використовується для визначення правил доступу вебсканерів, зокрема для індексації пошуку, архівування чи навчання AI.

Пропозицію в межах Internet Engineering Task Force висунув технічний керівник зі стандартів Anthropic Кевін Келлі. Наразі сайти мусять окремо вказувати свої переваги щодо навчання штучного інтелекту для кожної компанії, що використовує власні сканери.

Плани компаній

OpenAI, Google, Microsoft і Anthropic заявили, що обмежуватимуть доступ своїх AI-сканерів до сайтів, які використовуватимуть спільний сигнал. Anthropic уже запровадила його підтримку, тоді як Google і Microsoft планують додати її наступного року.

Microsoft також має надати детальніші налаштування: видавці зможуть окремо заборонити використання вмісту для навчання AI або для AI grounding — процесу звернення моделі до перевіреного джерела інформації, який має зменшувати кількість помилкових відповідей. У компанії зазначили, що такі налаштування не впливатимуть на присутність сайтів у результатах пошуку Bing.

Поява спільного сигналу відбувається на тлі зростання кількості AI-сканерів, які збирають вміст вебсайтів для моделей штучного інтелекту. У матеріалі згадані й інші підходи: стандарт Really Simple Licensing, що дає видавцям можливість стягувати плату зі сканерів, а також блокування AI-сканерів за замовчуванням, запроваджене Cloudflare.