Інженер Anthropic Гурміт Саран розробляє систему контролю відповідей Claude

Інженер Anthropic у Сан-Франциско Гурміт Саран розробляє інфраструктуру, що має допомогти дослідникам відстежувати поведінку ШІ-агента Claude та забезпечувати надійність його відповідей. Як повідомляє IEEE Spectrum, Саран працює над тим, щоб дані в системі були точними, структурованими й надійними, а приватна інформація залишалася захищеною.

Саран наголошує, що для великих мовних моделей інструменти спостереження за роботою систем ще формуються. На відміну від баз даних і вебсервісів, ШІ-агенти виконують послідовності дій та генерують відповіді різним користувачам, тому потрібно фіксувати, що саме зробила система, на яку інформацію спиралася і чи відповідав результат очікуванням користувача. Водночас цей процес не має розкривати персональні дані.

Контроль даних і приватність

За словами інженера, ненадійна логіка не дає змоги робити достовірні висновки про поведінку ШІ, а це має наслідки для безпеки. Він порівняв свою роботу з перевіркою точності медичних приладів: навіть незначно некоректні показники можуть вплинути на рішення у складних випадках.

Claude у своїй місії декларує прагнення бути корисним людям і суспільству, водночас уникати небезпечних, неетичних або оманливих дій. Саран вважає, що спостережуваність роботи моделей є ключовою умовою для цього завдання.

Досвід у Yahoo, Intuit і Meta

До переходу в Anthropic у 2025 році Саран понад 20 років працював із інфраструктурою даних. У Yahoo він разом із командою створив централізоване сховище з уніфікованими метриками та внутрішній інструмент вебаналітики Yahoo! Digits. Це мало усунути ситуації, коли різні підрозділи обчислювали однакові показники за різною логікою й отримували суперечливі результати.

В Intuit інженер допомагав будувати аналітичну інфраструктуру для продуктів, зокрема TurboTax і QuickBooks, а також працював над захистом даних платників податків у системі виявлення шахрайських декларацій у реальному часі. У Meta він розробив систему Metric360, яка встановлювала єдині правила розрахунку метрик переглядів відео після того, як компанія визнала помилку із завищенням таких показників.

Стандарти для інфраструктури ШІ

Саран також вважає, що IEEE може відіграти важливу роль у виробленні стандартів для ШІ-інфраструктури. На його думку, аудиторність і прозорість ШІ-систем будуть серед ключових інженерних завдань наступного десятиліття.