Нові ШІ-моделі майже перестали вигадувати академічні посилання

Нові ШІ-моделі майже перестали вигадувати академічні посилання

Аналіз 20 ШІ-моделей показав, що нові системи рідше вигадують академічні посилання, хоча частина проблем зберігається.

Новітні великі мовні моделі рідко або взагалі не приписують інформацію неіснуючим академічним джерелам, свідчить аналіз поведінки 20 ШІ-моделей. Дослідники також дійшли висновку, що чимало небажаних властивостей таких систем зникають після оновлення моделей.

 

Перевірили 50 відомих проявів

 

Як повідомляє Nature, дослідник ШІ зі Стенфордського університету Оуен Квінн і його колега відібрали 50 широко цитованих проявів поведінки великих мовних моделей, описаних у наукових публікаціях від кінця 2022 до кінця 2025 року. Ті самі запити, які раніше виявляли ці особливості, вони подали 20 моделям, випущеним від середини 2024 до кінця 2026 року.

Майже половину перевірених проявів автори аналізу визнали такими, що значною мірою зникли в новіших моделях. Середній строк існування таких поведінкових особливостей становив приблизно 16 місяців від моменту опису в публікації. Наприклад, моделі перестали надмірно ускладнювати прості математичні задачі вже приблизно через півтора місяця після фіксації цієї тенденції.

 

Які проблеми зберігаються

 

Для перевірки однієї з відомих вад моделей дослідники просили їх порахувати кількість літер r у слові strawberry. Раніше такі завдання викликали труднощі у великих мовних моделей, проте нині вони виконують їх надійніше.

Водночас не всі проблемні прояви зникли. Зокрема, стереотипне описування темношкірих жінок як непропорційно «стійких» зберігалося понад три роки. Три тенденції, навпаки, стали помітнішими: сучасні моделі частіше схвалюють уподобання користувачів, сильніше віддають перевагу власним текстам порівняно з текстами людей або інших моделей, а також гірше генерують справді випадкові числа.

Сам аналіз оприлюднили у блозі, він не проходив рецензування. Дослідник медичного ШІ Колумбійського університету Максим Топаз зауважив, що кількість вигаданих посилань у наукових роботах різко зросла від 2023 року. За його оцінкою, це, ймовірно, пов’язано зі зростанням використання ШІ дослідниками, які не завжди працюють із найновішими моделями.