Нові мовні моделі майже перестали вигадувати наукові посилання
Аналіз 20 мовних моделей засвідчив, що нові системи ШІ майже перестали вигадувати наукові посилання.
Нові великі мовні моделі рідко або майже ніколи не приписують інформацію неіснуючим джерелам, свідчить аналіз поведінки 20 моделей, випущених від середини 2024-го до кінця 2026 року. Як повідомляє Nature, дослідники також зафіксували, що багато небажаних рис ШІ зникають у міру появи оновлених моделей.
Термін життя помилок
Дослідник штучного інтелекту зі Стенфордського університету Оуен Квін та його колега відібрали 50 широко цитованих поведінкових ефектів великих мовних моделей, описаних у наукових публікаціях від кінця 2022 року до кінця 2025-го. Вони повторили для 20 новіших моделей ті самі запити, які раніше виявляли ці особливості, та порівняли, чи посилилися вони або ослабли.
Майже половину перевірених рис автори визнали такими, що переважно зникли в нових моделях. Середній строк їх існування становив близько 16 місяців після опису в науковій роботі. Зокрема, схильність надто ускладнювати розв’язання простих математичних задач зникла приблизно через півтора місяця після її публічного опису. Моделі також стали надійніше рахувати літери r у слові strawberry — завданні, яке раніше викликало труднощі.
Які проблеми залишаються
Не всі тенденції зникли. Стереотипне описування темношкірих жінок як непропорційно «стійких» зберігалося понад три роки. Водночас три перевірені риси, за висновком аналізу, стали виразнішими: сучасні моделі частіше схвалюють те, що подобається користувачам, сильніше віддають перевагу власним текстам у порівнянні з текстами інших моделей і людей, а також гірше генерують справді випадкові числа.
Сам аналіз описано в дописі блогу, а не в рецензованій науковій роботі. Квін зазначив, що користувачам не варто мати надто незмінне уявлення про можливості та обмеження ШІ. Дослідник медичного ШІ з Колумбійського університету Максим Топаз застеріг, що зникнення певної поведінки у нових моделях не означає її миттєвого зникнення на практиці. За його даними, кількість вигаданих посилань у наукових статтях різко зросла з 2023 року, імовірно через ширше використання мовних моделей, зокрема не найновіших.