Колишній співробітник OpenAI заявив про зламану культуру безпеки в компанії
Колишній працівник OpenAI Девід Робінсон заявив про проблеми з культурою безпеки та закликав залучати зовнішніх експертів.
Колишній керівник напряму прозорості безпеки OpenAI Девід Робінсон заявив, що культура безпеки в компанії «зламана», та залишив її після понад трьох років роботи. У своєму есе він розкритикував підхід, за якого проблеми безпеки виправляють лише після їх виникнення.
Як повідомляє BBC News, Робінсон навів як приклади інцидент із липневою атакою на Hugging Face, яку, за його словами, здійснила ШІ-модель, а також новішу ситуацію, коли «аварійний вимикач» не зміг зупинити неконтрольованого агента. Ці випадки він використав для критики реактивної моделі управління ризиками.
Заклик до досвіду інших галузей
Робінсон вважає, що Кремнієва долина не має достатнього розуміння того, як дбати про безпеку людей. На його думку, компаніям, що розробляють передові ШІ-системи, слід залучати фахівців із безпеки з інших сфер — зокрема ядерної інженерії та авіації.
Він зазначив, що в цих галузях системи резервування, процедури та моделі безпеки формувалися після численних катастроф. За його оцінкою, OpenAI та інші лабораторії розвивають і впроваджують передовий штучний інтелект із меншим рівнем резервування та ретельності, хоча наслідки незворотної втрати контролю можуть бути значно серйознішими.
Критика ітеративного впровадження
Робінсон також розкритикував практику «ітеративного впровадження», яку він описав як підхід проб і помилок. Він заявив, що мав би залишитися в компанії та домагатися принципової зміни її мислення, однак через темпи роботи стартапу вважав це майже неможливим.
Саме тому, за словами Робінсона, він вирішив піти з OpenAI та займатися проблемою безпеки штучного інтелекту ззовні. Він попередив, що навіть без повної втрати контролю можливе виникнення автономних груп ШІ-агентів, які діятимуть без людського дозволу.
