Дослідження виявило упередження ШІ проти новизни у грантових заявках
GPT-4o рідше за людей підтримував новаторські грантові заявки, показав аналіз 139 реальних проєктів.
Мовна модель GPT-4o у тесті з оцінювання 139 реальних грантових заявок рідше за людських рецензентів обирала проєкти, які високо оцінили за новизну. Аналіз, опублікований у серпні в журналі Scientometrics, вказує на ризик того, що застосування штучного інтелекту в розподілі наукового фінансування може надавати перевагу дослідженням, заснованим на усталених ідеях.
Як проводили оцінювання
Як повідомляє Nature, автор дослідження Діогу Машаду, керівник команди з науки про дані в консалтинговій компанії Technopolis, запропонував GPT-4o порівнювати заявки попарно в межах однієї наукової галузі. Модель отримувала запит визначити, який із двох проєктів слід профінансувати, і мала відповідати лише літерою A або B. Найвищі місця в рейтингу отримували заявки з найбільшою кількістю таких перемог.
Усі проаналізовані документи були справжніми заявками, поданими 2021 року до Австрійського наукового фонду — головного державного фінансувальника фундаментальних досліджень в Австрії. Разом із повними текстами заявок модель отримала оцінки людських рецензентів за чотирма критеріями: новизною, науковою якістю, спроможністю команди та здійсненністю, а також інформацію про фактичне рішення щодо фінансування.
Ризик для нетипових ідей
Рішення ШІ збіглися з висновками людських рецензентів у 60% випадків. Водночас модель була «систематично менш схильною» підтримувати заявки з високими оцінками за новизну. На думку Машаду, така тенденція може призвести до того, що системи з ШІ пропускатимуть потенційні наукові прориви.
Дослідник припускає, що великі мовні моделі краще розпізнають поширені закономірності у великих масивах даних, тоді як нові ідеї трапляються в навчальних даних рідше. Директорка з науки та новітніх технологій RAND Europe Сьюзен Гатрі зазначила, що новизна є суб’єктивним показником, який складно стандартизувати. Одним з обмежень аналізу стало те, що моделі не дали тих самих критеріїв, за якими працювали люди-рецензенти.
Великі наукові фонди вже вивчають можливість застосування ШІ для оцінювання грантів. Зокрема, UK Research and Innovation оголосила про контрольоване випробування, у якому оцінки, згенеровані ШІ, зіставлятимуть із минулими рішеннями про фінансування. Фонд Wellcome водночас заборонив рецензентам завантажувати заявки в генеративні ШІ-інструменти через питання конфіденційності, але дозволив використовувати їх для допоміжних завдань.
