Чатботы на основе искусственного интеллекта стали настоящей палочкой-выручалочкой для многих сфер бизнеса и услуг – от маркетинга и поддержки, до врачебной диагностики и юридической практики. Однако подобные сервисы нельзя назвать на 100% надежными, поскольку боты часто допускают ошибки, а иногда даже придумывают факты и целые истории.

Недавно интернет всколыхнула новость о том, что один из таких сервисов ChatGPT сфальсифицировал судебное дело и подставил адвоката. Адвокат из США Стивен Шварц использовал ChatGPT, чтобы собрать материалы для иска своего клиента против авиакомпании. Чатбот нашел ряд схожих инцидентов в самолетах и соответствующие судебные решения.

Каково же было удивление адвокатов, суда и самого потерпевшего, когда выяснилось, что некоторых прецедентов в реальности не существует и они были полностью придуманы ИИ. При этом в суде была представлена переписка юриста с чатом, где ChatGPT утверждает, что дела реальны и их можно найти в юридических справочных базах данных, таких как LexisNexis и Westlaw. Адвокат положился на искусственный интеллект и не стал проверять его утверждение. Еще один случай произошел в апреле — мэр одного из городов в Австралии пригрозил судом компании OpenAI – разработчику ChatGPT, за то, что чатбот распространяет ложную информацию, будто мэр провел некоторое время в тюрьме за взяточничество.  Подобных случаев очень много.

Чатботы на основе ИИ не просто ошибаются, они могут фабриковать любую информацию: имена и даты, медицинские объяснения, сюжеты книг, персоналии, исторические события и даже интернет-адреса, компьютерный код и математические расчеты. Поэтому выяснение, почему чат-боты придумывают ложные факты, и как решить эту проблему, стало одной из наиболее актуальных задач для исследователей.

 

Почему чатботы придумывают факты и что такое галлюцинация ИИ

Технология генеративного ИИ, которую используют все подобные чаты, опирается на сложный алгоритм. Он анализирует, как люди составляют слова в Интернете. При этом речь не идет об оценке фактов и проверке того, что правда, а что нет. Поэтому чаты могут выдавать ложный результат. Технологическая индустрия называет такие неточности «галлюцинациями».

Галлюцинация в ИИ относится к генерации ответов, которые могут показаться правдоподобными, но либо фактически неправильными, либо не связанными с данным контекстом. На множестве примеров мы видели, что чаты могут быть очень правдоподобными, они уверенно утверждают факты, которые на самом деле не существуют, и подкрепляют свои тезисы вымышленными доказательствами, статьями и фальсифицированными ссылками на несуществующие источники.

Новые системы искусственного интеллекта построены так, чтобы быть убедительными, а не правдивыми, говорится во внутреннем документе Microsoft.

Microsoft, разработчик чатбота Bing:

«Это означает, что результаты могут выглядеть очень реалистично, но включать не соответствующие действительности утверждения»

Чат-боты руководствуются технологией, называемой большой языковой моделью, или L.L.M. Она учится, анализируя много текста из интернета. LLM изучает закономерности всех этих данных и учится, в частности, угадывать следующее слово в последовательности слов. Фактически технология действует как более мощная версия инструмента автозавершения.

Но интернет переполнен как истинными фактами, так и ложной информацией. Потому и технология учится повторять такую же ложь. Кроме того, такие сервисы создают новый текст, сочетая миллиарды шаблонов неожиданным образом. И даже если чатботы учились исключительно из точного и правдивого текста, они все равно могут генерировать что-то не существующее.

Чатботы с ИИ учатся на значительно большем количестве данных, чем могли бы проанализировать люди. Следовательно, даже эксперты по искусственному интеллекту не могут объяснить, почему ИИ генерируют конкретную последовательность текста в определенный момент. Даже если вы зададите один и тот же вопрос дважды, чатбот может создать вам разный текст.

Такой результат часто возникает из-за свойственных моделям ИИ предубеждений, отсутствия понимания реального мира или ограничения учебных данных. Другими словами, система искусственного интеллекта «галюцинирует» информацию, на которой она не была явно обучена, что приводит к ненадежным или обманчивым ответам.

Галлюцинации ИИ вызывают ряд проблем, среди которых потеря доверия к технологии. Ведь если системы искусственного интеллекта генерируют неправильную или обманчивую информацию, пользователи могут потерять доверие к технологии, препятствуя ее внедрению в разных секторах.

Еще одной проблемой ошибок чатботов является этическая составляющая, ведь вымышленные результаты могут утвердить вредные стереотипы или дезинформацию.

Хотя меньшинство людей в своей работе сегодня полностью полагается на искусственный интеллект, чатботы активно используют в качестве помощников в таких сферах, как финансы, здравоохранение и право. А ошибки в этих областях могут привести к очень серьезным последствиям. Не говоря уже и о том, что неточные или обманчивые результаты грозят разработчикам и пользователям ИИ юридической ответственностью.

 

Как разработчики ИИ-чатботов решают проблему выдумок и фейков

На сегодняшний день существуют различные способы совершенствования моделей на ИИ для уменьшения ошибочных генераций. Среди них применение улучшенных обучающих данных и обеспечение того, чтобы системы обучались на разнообразных, точных и контекстуально релевантных наборах данных.

Важно также обеспечить прозрачность и понятность работы таких чатботов. Раскрытие разработчиками информации о том, как работает модель искусственного интеллекта и ее ограничений, может помочь пользователям понять, когда следует доверять системе, а когда следует проводить дополнительную проверку.

Еще одним методом снижения ошибок является включение человека в цикл работы ИИ. Человек может проверять результаты бота, смягчив влияние ошибок и повысив надежность технологии.

В настоящее время усилия по борьбе с галлюцинациями в ИИ предпринимают все крупные разработчики – Google, Microsoft и OpenAI. ChatGPT ведь не единственный, кто делал ошибочные и вымышленные утверждения. Как Bard от Google, так и чат-бот Bing от Microsoft неоднократно давали неточные ответы на один и тот же вопрос. И хотя ответы были ошибочными, они казались довольно  правдоподобными.

Такие компании как OpenAI, Google и Microsoft разработали несколько способов повышения точности своих инструментов.

 

OpenAI, например, пытается усовершенствовать технологию посредством обратной связи от людей-тестировщиков. Когда люди тестируют ChatGPT, то оценивают ответы чат-бота, отделяя полезные и правдивые ответы. Затем, используя технику, которая называется обучением с подкреплением, система тратит недели на анализ, чтобы лучше понять, что это факт против вымысла.

Разработчики ChatGPT добавили много так называемых рамок, чтобы контролировать, какие ответы он дает. Некоторые решения мешают ему давать оскорбительные ответы, другие служат для того, чтобы остановить чатбот от ничтожных скачков логики или фальсификации фактов. Более новая версия ChatGPT под названием ChatGPT Plus, избегает ответа на вопрос о вымышленных персонах или несуществующих фактах. Это может быть результатом обучения с подкреплением или других изменений в системе, применяемых OpenAI. Однако если задать вопрос чату в песочнице, то мы, как и раньше, увидим кучу фейков. С другой стороны, хотя ограничения уменьшают так называемые галлюцинации ИИ, однако их отсутствие дает таким системам больше сил и потенциала.

 

Microsoft, которая построила свой чат-бот Bing на основе базовой технологии OpenAI GPT-4, использует другие методы. Компания применяет GPT-4 для сравнения ответов чат-бота Bing с базовыми данными и оценки эффективности модели. Фактически Microsoft использует искусственный интеллект для улучшения искусственного интеллекта.

Компания также пытается улучшить ответы чат-бота с помощью своей традиционной поисковой системы в интернете. Когда вы вводите запрос в чате Bing, Microsoft запускает поиск в Интернете на ту же тему, а затем добавляет результаты в запрос, прежде чем отправлять его боту. Редактируя запрос, компания может подтолкнуть систему к получению лучших результатов, утверждают в Microsoft.

В то же время Microsoft не проверяет ответ бота на точность в режиме реального времени, но компания исследует, как это можно сделать. Бот проверяет точность небольшой части результатов постфактум, а затем использует этот анализ.

 

Google тоже использует подобные методы для повышения точности своего чат-бота Bard. Компания использует человеческую обратную связь, чтобы отточить поведение системы, использует информацию из поисковой системы компании, объясняет вице-президент по исследованиям Google Эли Коллинз.

 

Пользовательские методы борьбы с ошибками ИИ

Пользователи чатботов с ИИ могут не ждать, пока системы станут совершенными, и уже сегодня минимизировать количество вымышленных фактов и ошибок.. Большинство из этих методов связаны со способом взаимодействия с чатботом и особенностями вашего запроса.

Первым советом при работе с ИИ во избежание ошибок является ограничение количества вариантов. Ведь ответ открытого типа дает системе слишком много свободы для создания случайных и неточных результатов. Тогда как ограниченные варианты позволяют боту эффективнее работать. Можно попросить чатбот выбрать из списка вариантов или ответить «Да» или «Нет», что будет положительно влиять на результат и ограничивать потенциал для фальсификаций.

Также при работе с системами ИИ следует дополнять ваши запросы уже известной информацией, которая важна в контексте вопроса. Это даст дополнительный контекст чатботу и точки, от которых можно отталкиваться.

Когда дело доходит до расчетов, у чатботов есть некоторые баги из-за чего системы решают их неправильно (заметим, что модель GPT-4 эффективнее справляется с подсчетами, чем GPT-3). Чтобы противодействовать плохой математике, следует отдалить ИИ от неточных вычислений, в первую очередь, вводя запрос числами, а не текстом. Также можно построить таблицу с данными, с которой ИИ может быть проще работать.

Одним из способов противодействия выдумкам со стороны ИИ-чатботов является отведение системе определенной роли. Вы можете сказать, что чатбот является математиком или историком и затем просить его ответить на вопросы. Также можно попросить чатбот не врать и не придумывать, если он не знает ответа.

Еще один метод против галлюцинаций ИИ – сообщить чату информацию, которую вы не хотите видеть. Часто достаточно эффективно попросить систему исключить определенные результаты, чтобы приблизиться к истине.

Но повышение точности чатбота может иметь и другую сторону — если такие сервисы станут надежнее, пользователи могут стать слишком доверительными.

OpenAI, разработчик ChatGPT:

“Парадоксально, но галлюцинации могут стать опаснее. Ибо модели становятся более правдивыми, а пользователи строят большее доверие к модели, когда она предоставляет правдивую информацию.” 

Исследователи в секторе Big Tech справедливо опасаются, что люди будут слишком сильно полагаться на ИИ системы для медицинских, юридических консультаций и другой информации для принятия решений. «Если вы еще не знаете ответа на вопросы, я бы не задавал вопрос ни одной из этих систем», — убежден профессор и исследователь искусственного интеллекта в Университете штата Аризона Суббарао Камбхампати.

Поскольку системы искусственного интеллекта становятся все более распространенными, решение проблемы галлюцинаций имеет немаловажное значение для реализации их полного потенциала. Поэтому бизнесу следует инвестировать значительную часть времени и ресурсов в исследование, почему такие ошибки возникают. Это поможет уменьшить их частоту, чтобы пользователи ИИ смогли эффективно применять эти мощные инструменты.

Однако хотя разработчики постоянно улучшают способности ботов с искусственным интеллектом, такие системы все еще несовершенны. Поэтому, независимо от того, для чего вы используете искусственный интеллект, следует внимательно проверять все его результаты.