Дослідження Стенфордського університету показало, що на червень 2023 року штучний інтелект GPT-4, що лежить в основі ChatGPT, стала набагато «дурнішим», ніж ще три місяці тому.
Протягом кількох місяців дослідники регулярно ставили низку питань для оцінки вірності його відповідей.
Якщо у березні модель GPT-4 давала правильні відповіді у 97,6% випадків, то вже у червні цей показник становив лише 2,4%. Це означає, що ШІ більше не здатний відповідати правильно на жодне питання дослідників. У той же час, мовна модель минулого покоління – GPT-3.5 – несподівано підвищила показник вірності своїх відповідей з 7,4% до 86,8%.
У свою чергу, у GPT-4 впала ще й якість та генерація програмного коду. Вчені створили набір даних з 50 простими завданнями з LeetCode та виміряли, скільки відповідей GPT-4 виконувались без будь-яких змін. Березнева версія успішно впоралася з 52% проблем, але при використанні червневої моделі цей показник упав до 10%.