Чатботи на основі штучного інтелекту стали справжньою паличкою-виручалочкою для багатьох сфер бізнесу та послуг – від маркетингу та підтримки, до лікарської діагностики та юридичної практики. Однак подібні сервіси не можна назвати на 100% надійними, оскільки боти часто допускаються помилок, а іноді навіть вигадують факти та цілі історії. 

Нещодавно інтернет сколихнула новина про те, що один із таких сервісів ChatGPT сфабрикував судову справу та підставив адвоката. Адвокат із США Стівен Шварц використовував ChatGPT, щоб зібрати матеріали для позову свого клієнта проти авіакомпанії. Чатбот знайшов низку схожих інцидентів у літаках та відповідні судові рішення.

Яким же було здивування  адвокатів, суду та власне потерпілого, коли з’ясувалось, що деяких прецедентів у реальності не існує і вони були повністю вигадані ШІ. При цьому, у суді було представлене листування юриста із чатботом, де ChatGPT стверджує, що справи реальні і їх можна знайти в юридичних довідкових базах даних, таких як LexisNexis і Westlaw. Адвокат поклався на штучний інтелект та не став перевіряти його твердження. У квітні мер одного з міст в Австралії пригрозив судом компанії OpenAI – розробнику ChatGPT, за те, що чатбот поширює неправдиву інформацію, ніби мер провів деякий час у в’язниці за хабарництво. Подібних випадків дуже багато. 

Чатботи на основі ШІ не просто помиляються, вони можуть фабрикувати будь-яку інформацію: імена і дати, медичні пояснення, сюжети книг, персоналії, історичні події та навіть інтернет-адреси, комп’ютерний код та математичні розрахунки.  Тож з’ясування, чому чат-боти вигадують, і як вирішити цю проблему, є одним із найбільш актуальних завдань, які постали перед дослідниками.

 

Чому чатботи вигадують факти та що таке галюцинація ШІ

Технологія генеративного ШІ, яку і використовують усі подібні чатботи спирається на складний алгоритм. Він аналізує, як люди складають слова в Інтернеті. При цьому, не йдеться про оцінку фактів та перевірку того, що правда, а що ні. Тому чатботи можуть видавати неправдивий результат. Технологічна індустрія називає такі неточності «галюцинаціями». 

Галюцинація в ШІ відноситься до генерації відповідей, які можуть здатися правдоподібними, але або є фактично неправильними, або не пов’язаними з даним контекстом. На безлічі прикладів ми бачили, що чатботи можуть бути дуже правдоподібними, вони впевнено стверджують факти, які насправді не існують, та підкріплюють свої тези вигаданими доказами, статтями та сфальшованими посиланнями на неіснуючі джерела. 

Нові системи штучного інтелекту «побудовані так, щоб бути переконливими, а не правдивими», йдеться у внутрішньому документі Microsoft. 

Microsoft, розробник чатботу Bing:

«Це означає, що результати можуть виглядати дуже реалістично, але включати твердження, які не відповідають дійсності» 

Чат-боти керуються технологією, яка називається великою мовною моделлю, або L.L.M. Вона навчається, аналізуючи величезну кількість цифрового тексту з інтернету. LLM вивчає закономірності в усіх цих даних та навчається, зокрема, вгадувати наступне слово у послідовності слів. Фактично технологія діє як більш потужна версія інструмента автозавершення.

Але інтернет переповнений як дійсними фактами, так і неправдивою інформацією.  Тому і технологія вчиться повторювати таку саму неправду. Крім того такі сервіси створюють новий текст, поєднуючи мільярди шаблонів несподіваним чином. І навіть якщо чатботи вчилися виключно з точного і правдивого тексту, вони все одно можуть генерувати щось, що не існує. 

Чатботи із ШІ навчаються на більшій кількості даних, ніж могли б проаналізувати люди. Відтак навіть експерти зі штучного інтелекту не можуть пояснити, чому вони генерують конкретну послідовність тексту в певний момент. Навіть якщо ви задасте одне і те ж питання двічі, чатбот може створити різний текст.

Такий результат часто виникає через властиві моделі ШІ упередження, відсутність розуміння реального світу або обмеження навчальних даних. Іншими словами, система штучного інтелекту «галюцинує» інформацію, на якій вона не була явно навчена, що призводить до ненадійних або оманливих відповідей.

Галюцинації ШІ викликають низку проблем, серед яких втрата довіри до технології. Адже якщо системи штучного інтелекту генерують неправильну або оманливу інформацію, користувачі можуть втратити довіру до технології, перешкоджаючи її впровадженню в різних секторах. 

Ще однією проблемою помилок чатботів є етична складова, адже вигадані результати можуть утвердити шкідливі стереотипи або дезінформацію.

Хоч меншість людей у своїй роботі сьогодні повністю покладається на штучний інтелект, чатботи активно використовують як помічників у таких сферах, як фінанси, охорона здоров’я та право. А помилки у цих галузях можуть призвести до дуже серйозних наслідків. Не кажучи уже і про те, що неточні або оманливі результати наражають розробників і користувачів штучного інтелекту на юридичну відповідальність. 

 

Як розробники ШІ-чатботів вирішують проблему вигадок 

На сьогодні існують різні способи вдосконалення моделей на ШІ для зменшення помилкових генерацій. Серед них застосування покращених навчальних даних, та забезпечення того, щоб системи навчалися на різноманітних, точних і контекстуально релевантних наборах даних. 

Важливо також забезпечити прозорість та зрозумілість роботи таких чатботів. Розкриття розробниками інформації про те, як саме працює модель штучного інтелекту та її обмеження, може допомогти користувачам зрозуміти, коли варто довіряти системі, а коли слід проводити додаткову перевірку.

Ще одним методом зниження помилок є включення людини до циклу роботи ШІ. Людина може перевіряти результати чатботів, пом’якшити вплив помилок та підвищити надійність технології.

Наразі зусилля по боротьбі з галюцинаціями у ШІ роблять усі великі розробники – Google, Microsoft і OpenAI. Адже ChatGPT не єдиний, хто робив помилкові та вигадані твердження. Як Bard від Google, так і чат-бот Bing від Microsoft неодноразово давали неточні відповіді на одне і те ж питання. І хоч відповіді були помилковими, вони здавалися правдоподібними.

Такі компанії, як OpenAI, Google і Microsoft, розробили способи підвищення точності своїх інструментів. 

 

OpenAI, наприклад, намагається вдосконалити технологію за допомогою зворотного зв’язку від людей-тестувальників. Коли люди тестують ChatGPT, то оцінюють відповіді чат-бота, відокремлюючи корисні та правдиві відповіді від тих, які ні. Потім, використовуючи техніку, яка називається навчанням з підкріпленням, система витрачає тижні на аналіз, аби краще зрозуміти, що це факт проти вигадки. 

Наразі розробники ChatGPT додали багато так званих рамок, щоб контролювати, які відповіді він дає. Деякі з рішень заважають йому давати образливі відповіді, інші служать для того, щоб зупинити чатбот від нікчемних стрибків логіки або фальшування історичних фактів. Новіша версія ChatGPT під назвою ChatGPT Plus, уникає відповіді на питання щодо вигаданих персон чи неіснуючих фактів. Це може бути результатом навчання з підкріпленням або інших змін у системі, застосованих OpenAI. Однак якщо поставити питання чатботу у пісочниці, то ми, як і раншіе побачимо купу фейків. З іншого боку, хоч обмеження зменшують так звані галюцинації ШІ, проте їх відсутність дає таким системам більше сил і потенціалу.

 

Microsoft, яка побудувала свого чат-бота Bing на основі базової технології OpenAI GPT-4, використовує інші способи. Компанія застосовує GPT-4 для порівняння відповідей чат-бота Bing з базовими даними та оцінки ефективності моделі. Фактично Microsoft застосовує штучний інтелект, щоб покращити штучний інтелект.

Окрім того компанія також намагається покращити відповіді чат-бота за допомогою своєї традиційної пошукової системи в Інтернеті. Коли ви вводите запит у чат-боті Bing, Microsoft запускає пошук в Інтернеті на ту саму тему, а потім додає результати в запит, перш ніж надсилати його боту. Редагуючи запит, компанія може підштовхнути систему до отримання кращих результатів, каже кажуть у Microsoft. 

Водночас Microsoft не перевіряє відповіді бота на точність у режимі реального часу, але компанія досліджує, як це зробити. Бот перевіряє точність невеликої частини результатів постфактум, а потім використовує цей аналіз.

 

Google теж використовує подібні методи для підвищення точності свого чат-бота Bard. Компанія застосовує людський зворотний зв’язок, щоб відточити поведінку системи, використовуючи інформацію з пошукової системи компанії, пояснює віце-президент з досліджень Google Елі Коллінз.

 

Користувацькі методи боротьби із помилками ШІ

Користувачі чатботів із ШІ можуть не чекати, поки системи стануть досконалими, та уже сьогодні мінімізувати кількість вигаданих фактів та помилок. Більшість із цих методів пов’язані із способом взаємодії із чатботом та особливостями вашого запиту. 

Першою порадою при роботі із ШІ, щоб уникнути помилок, є обмеження кількості варіантів. Адже, відповідь відкритого типу дає системі занадто багато свободи для створення випадкових і неточних результатів, тоді як обмежені варіанти дозволяють чатботу ефективніше працювати. Можна попросити чатбот вибрати із списку варіантів або відповісти “Так” чи “Ні”, що позитивно буде впливати на результат та обмежувати потенціал для фальшування фактів.

Також при роботі із системами ШІ слід доповнювати ваші запити уже відомою вам інформацією, яка важлива в контексті питання. Це дасть додатковий контекст чатботу та точки, від яких можна відштовхуватись. 

Коли справа доходить до розрахунків, чатботи мають деякі баги та вирішують цы завдання неправильно (зауважимо, що модель  GPT-4 ефективніше справляється із підрахунками, ніж GPT-3). Щоб протидіяти поганій математиці слід віддалити ШІ від неточних обчислень, у першу чергу, вводячи запит числами, а не текстом. Також можна побудувати таблицю з чисельними даними, із якою ШІ може бути простіше працювати.

Одним із способів протидії вигадкам з боку ШІ-чатботів є відведення системі певної ролі. Ви можете сказати, що чатбот є математиком або істориком і потім просити його відповісти на запитання. Також можна попросити чатбот не брехати і не вигадувати, якщо він не знає відповіді. 

Ще один метод проти галюцинацій ШІ – повідомити чатботу інформацію, яку ви не хочете бачити. Часто досить дієво попросити систему виключити певні результати, щоб наблизитись до істини. 

Але підвищення точності чатботів може мати і іншу сторону – якщо такі сервіси стануть надійнішими, користувачі можуть стати занадто довірливими. 

OpenAI, розробник ChatGPT:

«Парадоксально, але галюцинації можуть стати більш небезпечними. Бо моделі стають більш правдивими, а користувачі будують більшу довіру до моделі, коли вона надає правдиву інформацію» 

Дослідники у секторі Big Tech справедливо побоюються, що люди будуть занадто сильно покладатися на ШІ системи для медичних і юридичних консультацій та іншої інформації для прийняття рішень. «Якщо ви ще не знаєте відповіді на питання, я б не давав питання жодній з цих систем», — переконаний професор і дослідник штучного інтелекту в Університеті штату Арізона Суббарао Камбхампаті. 

Оскільки системи штучного інтелекту стають все більш поширеними, вирішення проблеми галюцинації має важливе значення для реалізації їх повного потенціалу. Тому бізнесу слід інвестувати значну частину часу та ресурсів у дослідження, чому такі помилки виникають. Це допоможе зменшити їх частосту, щоб користувачі ШІ змогли ефективно застосовувати ці потужні інструменти. 

Однак хоч розробники постійно покращують здатності чатботів зі штучним інтелектом, такі системи все ще недосконалі. Тому незалежно від того, для чого ви використовуєте штучний інтелект, слід уважно перевіряти усі його результати.