Исследование Стэнфордского университета показало, что на июнь 2023 года искусственный интеллект GPT-4, лежащий в основе чатбота ChatGPT, стал намного «глупее», чем еще три месяца назад.
В течение нескольких месяцев исследователи регулярно задавали чатботу ряд вопросов для оценки верности его ответов.
Если в марте модель GPT-4 давала правильные ответы в 97,6% случаев, то уже в июне этот показатель составил всего 2,4%. Это значит, что ИИ больше не способен отвечать правильно практически ни на один вопрос исследователей. В то же время, языковая модель прошлого поколения — GPT-3.5 – неожиданно повысила показатель верности своих ответов с 7,4% до 86,8%.
В свою очередь, у GPT-4 упало качество и генерация программного кода. Ученые создали набор данных с 50 простыми задачами из LeetCode и измерили, сколько ответов GPT-4 выполнялись без каких-либо изменений. Мартовская версия успешно справилась с 52% проблем, но при использовании июньской модели этот показатель упал до 10%.