IEEE Access виявив ШІ-підробки наукових статей у редакційному експерименті
IEEE Access відхилив дві ШІ-створені наукові статті під час експерименту через вигадані посилання та надмірну кількість препринтів.
Журнал IEEE Access під час редакційного експерименту не пропустив дві статті, створені за допомогою штучного інтелекту: в одній описувалися дослідження, яких насправді не проводили, а другу підготувала автономна система FARS на основі обчислювального експерименту. Як повідомляє IEEE Spectrum, обидва тексти перевірили за погодженням із видавцем, але до рецензування їх не допустили.
Автор експерименту Бенджамін Скуз використав безплатні версії ChatGPT і Gemini, щоб поетапно створити статтю про оптичні солітони — світлові імпульси, що поширюються без зміни форми. Моделі згенерували текст, графіки, підписи, посилання та оформили матеріал у стилі IEEE Access. Автоматизовані перевірки виявили вигадані або непідтверджені бібліографічні посилання: STM Integrity Hub зафіксував 12 таких джерел, а інструмент MolecularConnections не зміг верифікувати 24 посилання.
Керівна редакторка IEEE Access Дженні Махоні зазначила, що сам текст не містив очевидних великих наукових помилок для неспеціаліста, проте велика кількість галюцинованих цитувань поставила під сумнів усю роботу. Фахівець з оптичних солітонів Гаетано Ассанто назвав статтю професійно написаною, але звернув увагу на надмірну кількість абревіатур і кілька тверджень з фізики, які можна поставити під сумнів.
Автономна система створила статтю за добу
У другій частині тесту Скуз скористався системою Fully Automated Research System, або FARS, розробленою сінгапурським стартапом Analemma. Після короткого запиту система за 21 хвилину підготувала дослідницьку пропозицію, наступного дня повідомила про завершення обчислювального експерименту, а ще за дві години згенерувала готову до подання статтю.
На відміну від першого матеріалу, посилання в роботі FARS були реальними. Водночас IEEE Access відхилив би її через значну частку посилань на препринти, які не пройшли рецензування. Махоні також помітила у графіках ознаки автоматичної генерації: беззмістовний напис «lhewl» і випадкові крапки на зображенні, що мало зображати ШІ-мозок.
Навантаження на рецензентів зростає
За словами Махоні, IEEE Access отримує близько 60 тисяч рукописів на рік і приймає приблизно 20% з них. Кожну прийняту статтю оцінюють щонайменше два незалежні рецензенти, однак із 2018 року середня кількість запрошень рецензентам на одну статтю зросла на 50%.
Директор IEEE з видавничої етики та належної практики Луїджі Лонгобарді зауважив, що інструмент виявлення, створений сьогодні, може не спрацювати проти наступного покоління ШІ-статей. Автори двох тестових робіт наголосили, що жодна з них не проходила рецензування, а їхні наукові твердження незалежно не перевіряли.
