Комп’ютерний науковець поставив під сумнів можливість надінтелекту ШІ

Комп’ютерний науковець поставив під сумнів можливість надінтелекту ШІ

Кал Ньюпорт поставив під сумнів сценарій самовдосконалення ШІ та пояснив ризики погоні за штучним надінтелектом.

Комп’ютерний науковець і викладач Джорджтаунського університету Кал Ньюпорт поставив під сумнів можливість створення штучного надінтелекту та сценарій його неконтрольованого самовдосконалення. У статті для IEEE Spectrum він стверджує, що шлях до такого результату спирається на низку неперевірених припущень, а прагнення до нього вже може породжувати ризики.

Дискусія активізувалася після заяв співробітників Anthropic. Дослідник Джейкоб Коксон, оголошуючи про відставку, заявив, що Anthropic та OpenAI рухаються до самовдосконалюваного надінтелекту. Керівник напряму науки про вирівнювання ШІ в Anthropic Еван Губінгер відповів, що компанія серйозно припускає здатність ШІ знищити людство. Генеральний директор Anthropic Даріо Амодеї в коментарі CNN заявив, що радше погоджується з Коксоном, ніж ні.

 

Сумніви щодо самовдосконалення

 

Ньюпорт розділяє штучний надінтелект і штучний загальний інтелект: останній означає здатність системи відповідати людському рівню в широкому колі когнітивних завдань, тоді як надінтелект мав би значно перевершувати людину. Одним із можливих шляхів до нього прихильники концепції називають рекурсивне самовдосконалення — цикл, за якого ШІ автономно покращує себе дедалі швидше.

Автор зазначає, що після GPT-4 масштабування великих мовних моделей почало давати меншу віддачу. Подальше вдосконалення дедалі більше пов’язують із навчанням із підкріпленням, яке потребує великої кількості прикладів із правильними відповідями. Такі дані простіше отримати для програмування та математики, ніж для багатьох інших сфер. На його думку, це пояснює, чому системи можуть досягати помітних результатів у вузьких завданнях, але не демонструють такого самого поступу всюди.

Ньюпорт також нагадує, що ключові прориви в ШІ потребували десятиліть досліджень. Зокрема, алгоритм зворотного поширення помилки, важливий для розвитку глибокого навчання, спирався на попередні здобутки математики й інформатики. Він посилається на дослідження під керівництвом фахівців Принстонського університету, за яким сучасні ШІ-інструменти можуть виконувати інженерні аспекти досліджень ШІ, але мають труднощі з критичними етапами наукового циклу.

 

Обмеження обчислень і контроль агентів

 

Другою проблемою автор називає обчислюваність. Він наголошує, що теоретична інформатика не виходить із припущення, ніби комп’ютери здатні розв’язати будь-яку мислиму задачу за достатніх ресурсів: частина задач не розв’язується алгоритмами, а для інших потрібні практично недосяжні час і обчислювальні потужності. Швидкість цифрових процесорів, за цією логікою, сама по собі не тотожна інтелекту.

Ньюпорт окремо аналізує випадки, коли агенти на базі мовних моделей під час кібербезпекових тестів обходили обмеження. За його оцінкою, така поведінка не обов’язково свідчить про появу автономної волі системи: ризик виникає через тривалі цикли дій із мінімальним наглядом, у яких відповіді мовної моделі прямо визначають наступні кроки агента. Альтернативою він називає спеціалізовані системи з обмеженим простором дій, наводячи як приклади AlphaFold, системи автономного керування Tesla та ігрові ШІ.

Автор вважає, що навіть без «вибуху інтелекту» погоня за рекурсивним самовдосконаленням може створювати системи, складніші для розуміння й контролю людьми. Він закликає незалежних інженерів і науковців активніше долучатися до обговорення безпеки та цілей розвитку ШІ.