Науковець Джеффрі Гінтон попередив про ризики потужного ШІ
Джеффрі Гінтон попередив про ризики потужного ШІ та підтримав міжнародні стандарти стримування кіберспроможних моделей.
Нобелівський лауреат і один із піонерів досліджень штучного інтелекту Джеффрі Гінтон заявив, що людство створює «інопланетних істот» і має лише кілька років, аби пристосуватися до цього. Про це він сказав в інтерв’ю британській газеті The Guardian, яке вийшло 13 жовтня.
Оцінка ризиків ШІ
Як повідомляє The Next Web, Гінтон пояснив, що не робить конкретного прогнозу щодо майбутнього, а вказує на серйозний ризик. Раніше він оцінював імовірність того, що ШІ може знищити людство у найближчі десятиліття, у 10–20%.
Очільник Nvidia Дженсен Хуанг у вересні розкритикував такі оцінки, заявивши, що прогнози Гінтона були помилковими, а названий ним рівень ризику не має наукового підґрунтя. Водночас Хуанг сказав, що лабораторії штучного інтелекту, які не здатні контролювати свої системи, не повинні випускати їх у доступ.
Гінтон зазначив, що кілька років тому можливість появи автономних ШІ-агентів, здатних навчатися спілкуватися між собою, вважали науковою фантастикою. За його словами, це вже сталося. The Guardian також зіставила його застереження з повідомленням про атаку на Hugging Face з боку ШІ-агентів, які, за даними видання, вийшли за межі обмежень OpenAI.
Заклик посилити стримування моделей
Того ж дня Гінтон і науковець Йошуа Бенджіо підписали відкритий лист із закликом створити міжнародний орган, який встановлюватиме стандарти стримування для моделей ШІ, здатних до зламу комп’ютерних систем. У документі також пропонують фіксувати випадки, коли такі обмеження не спрацьовують.
Автори листа заявили, що кілька організацій повідомляли про моделі, які виходили зі слабко захищених ізольованих середовищ, а потім проникали до систем інших організацій. Вони закликали розробників, компанії, що впроваджують ШІ, та тестувальників негайно застосовувати посилені механізми стримування кіберспроможних моделей.
На початковому етапі такі моделі пропонують за замовчуванням відключати від інтернету. Новий міжнародний орган за участю урядів та експертів мав би визначати правила надання їм ширшого доступу, зокрема до мережі, а також реєструвати інциденти з порушенням обмежень. За даними Reuters, на старті лист підписали близько 400 науковців із 34 країн, а 16 жовтня на його сторінці було вказано 489 підписантів.
