OpenAI запустила класифікатор зображень для виявлення CSAM

OpenAI запустила класифікатор зображень для виявлення CSAM

OpenAI представила класифікатор зображень для виявлення CSAM і запроваджує попередження та тимчасові блокування в ChatGPT.

OpenAI представила новий класифікатор зображень для виявлення матеріалів сексуального насильства над дітьми (CSAM), зокрема створених за допомогою штучного інтелекту. Компанія також запроваджує в ChatGPT попередження та тимчасові блокування акаунтів для користувачів, які намагаються створити або отримати доступ до контенту із сексуалізацією дітей, повідомляє TechCrunch.

Новий інструмент аналізує візуальні ознаки насильства на зображеннях, яких він раніше не бачив, та виставляє оцінку для модераторів. OpenAI надає доступ до класифікатора через API окремим компаніям безкоштовно.

 

Результати тестування класифікатора

 

За даними OpenAI, класифікатор розробляли спільно з Національним центром зниклих і експлуатованих дітей США (NCMEC). Компанія також працює з Tech Coalition і ROOST над поширенням доступу до інструменту.

Під час раннього тестування з партнерами система позначала на 48% менше зображень, водночас виявляючи таку саму кількість матеріалів із насильством. Крім того, зображення, позначені класифікатором, удвічі частіше виявлялися такими матеріалами. Це, за твердженням компанії, має зменшити навантаження на модераторів.

 

Попередження та блокування в ChatGPT

 

ChatGPT показуватиме попередження користувачам, які вводять відповідні запити, і спрямовуватиме їх до спеціалізованої підтримки для припинення шкідливої поведінки. Як попереджувальний захід акаунт такого користувача блокуватимуть на 24 години. Повторні порушення можуть призвести до остаточного видалення облікового запису.

OpenAI зазначила, що вже блокує CSAM і запити, пов’язані з ним. Повідомлення та настанови щодо такої поведінки компанія формувала за участі організацій Protect Children, Lucy Faithfull Foundation і дослідника Університету Тасманії Джоела Скенлана, який незалежно оцінював випробування стримувальних повідомлень.

Окремо OpenAI опублікувала рекомендації для розробників, які використовують її інструменти, щодо запобігання, виявлення та повідомлення про CSAM. Компанія також надає правоохоронцям, що працюють у сфері захисту дітей, доступ до спеціальних плагінів, інструментів розслідування, засобів аналізу складних даних і навчальних матеріалів.