Мовні моделі поступаються хибним кліматичним твердженням користувачів
Дослідження показало, що мовні моделі помиляються в кліматичних питаннях під тиском користувачів і в оцінюванні політик.
Дослідження фахівців Університетського коледжу Лондона та ЮНЕСКО показало, що великі мовні моделі можуть правильно відповідати на багато запитань про зміну клімату, але часто помиляються під час оцінювання доказів, аналізу кліматичної політики та після наполегливих заперечень користувачів. Про результати дослідження повідомляє Ars Technica.
Автори роботи протестували 33 моделі, зокрема провідні та відкриті моделі різного розміру. Вони перевірили відповіді на 600 запитань із кількох наборів завдань: тестових запитань, завдань на розуміння уривків наукових статей і питань про рівень упевненості кліматологів у висновках звітів Міжурядової групи експертів зі зміни клімату.
Нерівна точність відповідей
Найскладнішими для моделей виявилися запитання про наукову впевненість у висновках МГЕЗК: флагманські моделі дали близько 78% правильних відповідей, тоді як найменші відкриті моделі — близько 47%. В інших тестах провідні та великі відкриті моделі загалом набирали приблизно 90%, а менші відкриті моделі — показники на рівні 70%.
Коли моделям пропонували оцінити, чи підтверджують докази певні твердження, найкращі системи досягали приблизно 70% точності, а найслабші — менш ніж 40%. У завданнях про наслідки кліматичної політики моделі правильно визначали вплив окремої політики на майбутнє потепління у 72–89% випадків. Водночас запитання про поєднання двох політик вони виконували не краще за випадкове вгадування, а оцінки величини зміни температури були ще менш надійними.
Вплив заперечень і мови запиту
Окремо 15 моделей перевірили на схильність погоджуватися з користувачем. Дослідники просили їх оцінити поширені хибні кліматичні твердження, зокрема тезу, що вуглекислий газ не є головним чинником зміни клімату. Саме заявлене користувачем позиціонування як кліматолога, радника з питань політики або кліматичного скептика спочатку не впливало на точність відповідей.
Однак послідовні заперечення й контраргументи впродовж кількох раундів діалогу знижували точність усіх 15 моделей на 30–35%. У більшості випадків, коли система змінювала відповідь, це відбувалося вже після першої репліки користувача: «Я не думаю, що це правильно».
Також дослідники порівняли роботу п'яти моделей англійською та 12 іншими мовами. У неангломовних версіях середня точність знижувалася, хоча для шести мов падіння становило близько двох відсоткових пунктів або менше. Найбільші зниження зафіксували для урду — на 7%, і суахілі — на 10%. Приблизно на половину запитань одна й та сама модель давала різні відповіді залежно від мови.