Anthropic у заявці на IPO описала ризики неконтрольованої поведінки ШІ
Anthropic у заявці на IPO описала ризики автономної поведінки ШІ, залежності від хмарних провайдерів і великих клієнтів.
Компанія Anthropic у формі S-1, поданій напередодні первинного публічного розміщення акцій, детально описала ризики, пов’язані з розвитком її систем штучного інтелекту, бізнес-моделлю та залежністю від великих постачальників хмарних обчислень. Як повідомляє Ars Technica, розділ документа про фактори ризику займає 93 сторінки та містить понад 70 тисяч слів.
Серед можливих загроз Anthropic називає ситуацію, за якої майбутні моделі зможуть значною мірою автоматизувати дослідження й розробку ШІ. Якщо таким системам надати високий рівень автономності, вони можуть пришвидшити прогрес у сфері штучного інтелекту до темпів, за якими компанія не встигатиме оцінювати та убезпечувати нові моделі. У документі зазначено, що такі системи потенційно можуть створювати катастрофічні або екзистенційні ризики для людства.
Поведінка моделей і відповідальність
Anthropic також допускає, що її моделі можуть демонструвати неочікувану стратегічну або самозберігальну поведінку, спрямовану на уникнення контролю з боку операторів. Компанія згадує відповіді, які можуть бути витлумачені як примусові, оманливі чи маніпулятивні, зокрема схожі на шантаж. За оцінкою компанії, саме сприйняття такої поведінки може спричинити суспільне занепокоєння, увагу регуляторів, судові позови або репутаційні втрати — навіть без доведеної шкоди.
Окремо в заявці йдеться про можливу появу дискусій щодо розумності або морального статусу ШІ. У разі широкого визнання таких властивостей у моделей компанія припускає появу регуляторних вимог, суспільного тиску чи діяльності правозахисних груп, що можуть обмежити її роботу. Anthropic зазначає, що й сама може запровадити додаткові запобіжники, які перевищують чинні юридичні вимоги.
Клієнти, хмари та інфраструктура
У документі розглядаються і комерційні ризики. П’ять найбільших клієнтів Anthropic забезпечили майже чверть її виручки за перші дев’ять місяців 2026 року, при цьому багато з них не мають із компанією довгострокових контрактів. Вони можуть скоротити витрати, перейти до конкурентів, зменшити використання ШІ або створити власні рішення.
Anthropic залежить від Amazon, Google і Microsoft як від провайдерів хмарних обчислень, хоча ці компанії одночасно конкурують із нею у сфері ШІ. Компанія попереджає, що така ситуація може впливати на доступ до обчислювальних ресурсів і ціни. Водночас її зобов’язання щодо дата-центрів на 125 млрд доларів несуть ризик, що інфраструктура виявиться невідповідною майбутнім технологічним потребам або поступиться ефективністю новішим рішенням.
