Дослідники створили детектор ШІ-ідей для наукових статей
Дослідники представили IdeaLens — інструмент, що аналізує структуру наукових текстів для виявлення ідей, створених ШІ.
Дослідники розробили інструмент IdeaLens, який має розрізняти ідеї, створені людьми та штучним інтелектом, у наукових роботах. Система аналізує не стиль написання, а структуру аргументації й викладу концепцій. Про розробку повідомляє Nature.
Аналіз структури, а не стилю
Спершу IdeaLens перетворює текст, зокрема наукову статтю, на своєрідний план викладу та прибирає стилістичні особливості. Далі алгоритм шукає закономірності в аргументах і послідовності думок, характерні для людини або генеративної моделі.
За даними авторів препринту, інструмент виявляв ідеї, похідні від ШІ, у 91% випадків. Один зі співавторів роботи, фахівець із комп’ютерних наук Університету Меріленду в Коледж-Парку Рішант Раджендран, вважає, що такий підхід може допомогти оцінювати масштаби застосування штучного інтелекту в матеріалах, поданих до наукових журналів і конференцій.
Можливе застосування та обмеження
Раджендран зазначив, що використання ШІ для написання наукових робіт дедалі частіше вважають прийнятним за умови, що головна ідея належить самому дослідникові. За його словами, конференції та журнали вже стикаються з великою кількістю штучно згенерованого контенту.
Комп’ютерний науковець Cornell Tech Ніхіл Гарг назвав результат вражаючим, зокрема через здатність системи виявляти ШІ-аргументацію лише за планом тексту. Водночас він застеріг, що IdeaLens не варто використовувати для визначення авторства в окремих випадках, адже інструмент може помилятися. Також точність моделі може знижуватися під час аналізу матеріалів, які відрізняються від даних, використаних для її навчання.
Попередня робота цієї групи показала, що людські та згенеровані ШІ історії мають структурні відмінності, а різні чатботи нерідко використовують подібні аргументи в есе. Ці спостереження стали основою для створення детектора ідей.
