У нещодавньому дослідженні поставили під сумнів успіхи GPT-4 на іспиті на адвоката, які раніше широко висвітлювалися в ЗМІ.
Минулого року OpenAI заявила, що GPT-4 перевершив 90% стажистів-юристів на барному іспиті, викликавши тим самим великий ажіотаж. Однак нове дослідження показує, що цю заяву було перебільшено.
Дослідження, опубліковане в журналі Artificial Intelligence and Law, вказує, що модель GPT-4 дійсно не досягала топ-10% за результатами іспиту.
Вона показала високі результати тільки порівняно з тими, хто складав іспит повторно, а це зазвичай менш успішна група.
Ба більше, GPT-4 суттєво відстав у розділі іспиту, що вимагає написання есе, потрапивши лише в 15-й перцентиль серед першорозрядників. Це особливо важливо, оскільки есе найбільш близькі до завдань, з якими стикаються практикуючі юристи.