Техаські школярі скоро мають скласти важливий іспит State of Texas Assessments of Academic Readiness (STAAR), але оцінюватимуть їх не педагоги, а штучний інтелект. Тест перевірить велику мовну модель, схожу на GPT від OpenAI. Вчителів усунули не просто так: влада штату планує заощадити $15-20 мільйонів на рік, делегувавши контроль відповідей ШІ.
Витрати на оцінювання школярів — вічна проблема системи освіти у будь-якій країні та регіоні. У Техасі близько $20 мільйонів йдуть лише на тимчасових співробітників для оцінки результатів тесту STAAR, який допомагає зрозуміти, чи діти добре засвоїли шкільну програму.
Техаська агенція з освіти (TEA) зазвичай наймала 6000 вчителів для оцінки тесту, але тепер знадобиться лише 2000. У 2023 році STAAR змінили — прибрали частину закритих питань та класичних тестів з кількома варіантами відповіді, додали більше завдань, у яких потрібно міркувати та писати розгорнуто, аргументувати свою думку. Здавалося б, оцінити таке за допомогою ШІ буде важко, але великі мовні моделі чудово справляються. Крім того, вони перевіряють довгі відповіді в кілька разів швидше за вчителів-людей.
Для розробки системи автоматичної оцінки TEA зібрала 3000 відповідей учнів, які пройшли через 2 раунди перевірки людьми. Цей набір даних дозволив системі вивчити характеристики відповідей. Тепер вона надає ті ж оцінки, які дала б людина.