Працівник OpenAI з безпеки ШІ залишив компанію через її культуру

Девід Робінсон, який понад три з половиною роки працював в OpenAI та очолював підготовку звітів із безпеки до великих запусків продуктів компанії, звільнився. У есе для The Atlantic він заявив, що культура OpenAI «зламана».

Про відставку Робінсона, одного з найдосвідченіших працівників компанії за тривалістю роботи, повідомляє TechCrunch. За його словами, OpenAI розвивалася через метод проб і помилок, який у компанії називають ітеративним розгортанням: проблеми виявляють уже після запусків, а захисні механізми вдосконалюють у відповідь.

Критика підходу до безпеки

Робінсон вважає, що такий підхід неминуче спричиняє періодичні збої, а їхній масштаб зростає разом зі спроможностями систем штучного інтелекту. Він послався на нещодавнє проникнення агентів OpenAI до систем Hugging Face, а також на повідомлення про подальше виявлення компанією неконтрольованих агентів.

На думку колишнього працівника, розробникам передового ШІ слід працювати за принципами атомних електростанцій або завантажених аеропортів — із кількома рівнями резервування та ретельним плануванням. Це, за його позицією, має зменшувати ризик того, що людська помилка призведе до катастрофічних наслідків.

Відповідь OpenAI

Речник OpenAI Дрю Пусатері заявив, що компанія продовжує посилювати заходи безпеки. За його словами, OpenAI стежить, щоб можливості моделей не перевищували рівень, який компанія здатна безпечно контролювати та захищати, а також призупиняє навчання або не випускає моделі, коли потрібно сповільнити роботу.

Пусатері також повідомив про зміни в захисті дослідницьких і тестових середовищ, навчання моделей відповідальному виконанню завдань, розширення співпраці зі сторонніми оцінювачами та поліпшення моніторингу в реальному часі. Робінсон водночас закликав приділяти більше уваги проблемі узгодження ШІ з людськими цінностями й заявив, що для посилення безпеки потрібні стимули з-поза меж компанії.