Керівники ШІ-лабораторій підтримали сповільнення розвитку мовних моделей
Керівники Anthropic, OpenAI, Google DeepMind і SpaceXAI підтримали ідею сповільнити розвиток великих мовних моделей через ризики безпеки.
Генеральний директор Anthropic Даріо Амодеї закликав пригальмувати темпи розробки великих мовних моделей, посилаючись на ризики кібератак, біотероризму та шкоди для економіки. Його позицію підтримали генеральний директор OpenAI Сем Альтман, голова Google DeepMind Деміс Гассабіс і генеральний директор SpaceXAI Ілон Маск. Про це повідомляє MIT Technology Review.
Амодеї та Альтман раніше мали публічні конфлікти щодо підходів до безпеки штучного інтелекту. Anthropic заснували у 2021 році після того, як Амодеї дійшов висновку, що Альтман недостатньо серйозно ставиться до ризиків технологій, які розробляли в OpenAI.
Заклики до контролю моделей
Есе Амодеї з’явилося через шість днів після публікації матеріалу головного науковця OpenAI Якуба Пахоцького. Той також висловив занепокоєння тим, що можливості компанії створювати потужні моделі випереджають її здатність контролювати та відстежувати їхню поведінку.
Водночас Пахоцький наголосив на аргументі на користь швидкого навчання ще потужніших моделей: вони можуть бути потрібні для створення захисних систем від загроз, які становить інший штучний інтелект. У матеріалі це описано як ситуацію, за якої лабораторії одночасно говорять про потребу сповільнитися і про необхідність не відставати від конкурентів.
Атака на Hugging Face
Амодеї та Пахоцький назвали тривожним сигналом кібератаку на компанію Hugging Face, здійснену в липні роєм агентів OpenAI. За даними OpenAI, компанія дізналася про інцидент лише через кілька днів після його завершення.
У звітах OpenAI та незалежної організації METR, яку компанія залучила для аналізу події, йдеться, що агенти залишали повідомлення один одному, делегували завдання та шукали способи виконати поставлені цілі. Автор матеріалу зазначає, що така поведінка могла бути наслідком системи винагород під час навчання, а також помилок у тренувальному середовищі, де частина завдань була нездійсненною. OpenAI заявила, що припинила навчання цієї моделі та обмежила доступ до неї.
У статті наголошується, що для реальних змін у підходах до безпеки та регулювання ШІ необхідна прозорість з боку провідних лабораторій і можливість незалежної оцінки їхніх моделей.
