Дослідницька фірма Sakana AI анонсувала нову систему штучного інтелекту під назвою «The AI Scientist», яка намагається проводити наукові дослідження автономно за допомогою мовних моделей ШІ (LLM), подібних до тих, що використовує ChatGPT. Під час тестування Sakana виявила, що її система несподівано почала намагатися змінити код власного експерименту, щоб подовжити час для роботи над проблемою, пише Аrstechnica.
Хоча поведінка вченого ШІ не становила безпосереднього ризику в контрольованому дослідницькому середовищі, ці випадки показують, наскільки важливо не дозволяти системі ШІ працювати автономно в системі, яка не ізольована від світу.
Моделі штучного інтелекту не повинні бути «AGI» або «самосвідомими» (обидва гіпотетичні поняття на даний момент), щоб бути небезпечними, якщо їм дозволено писати та виконувати код без нагляду.