Ексфахівець DeepMind закликав створити ШІ з перевірюваним мисленням

Колишній учасник команди AlphaGo Торе Грепель, який нещодавно залишив посаду в Google DeepMind, заявив, що сучасні великі мовні моделі не мають повноцінного механізму міркування. На його думку, для надійного застосування штучного інтелекту в науці, медицині та інженерії системи мають вести перевірюваний облік доказів, припущень і невирішених питань.

Про це Грепель написав у колонці для MIT Technology Review. Він пропонує розвивати архітектури, у яких нейромережі допомагають формувати гіпотези, а незалежний механізм оцінює, чи справді кожен крок зменшує невизначеність і чи підтверджений він доказами.

Приклад AlphaGo

Як приклад Грепель навів партію AlphaGo проти корейського професійного гравця Лі Седоля в Сеулі у березні 2016 року. У другій грі матчу програма зробила 37-й хід, який коментатори спершу вважали настільки дивним, що припускали програмну помилку. AlphaGo зрештою виграла матч із рахунком 4:1.

За словами автора, політика мережі AlphaGo, навчена передбачати ходи сильних гравців, оцінювала цей хід як малоймовірний: приблизно один шанс із 10 тисяч. Вибір став можливим завдяки пошуковому механізму, який будував і аналізував дерево гри з тисячами варіантів майбутніх ходів. Саме поєднання інтуїтивної оцінки та окремого пошуку дало системі змогу перевірити наслідки нестандартного рішення.

Обмеження мовних моделей

Грепель зазначає, що великі мовні моделі добирають наступний токен послідовно, а їхні проміжні міркування, відомі як chain of thought, також генеруються тим самим процесом. Такий підхід, за його оцінкою, поліпшив результати в математиці й програмуванні, але не створив окремого механізму міркування.

Автор називає три ключові обмеження: відсутність явного й постійного стану знань, нероздільність знань і способу їхнього опрацювання у вагах нейромережі, а також ризик того, що модель формує пояснення вже після отримання відповіді. Для практичних завдань системі, на його думку, потрібен стан знань із позначенням установлених фактів, сумнівів, відкинутих версій і відкритих запитань. Це дозволило б перевіряти, на якому етапі виникла помилка — у доказах, припущеннях чи висновку.