Інженер Anthropic розробляє систему контролю надійності Claude

Інженер Anthropic Гурміт Саран у Сан-Франциско розробляє інфраструктуру, яка має допомогти дослідникам розуміти механіку поведінки чатбота Claude та перевіряти надійність результатів його роботи. Про це повідомляє IEEE Spectrum. Саран приєднався до Anthropic у 2025 році як член технічного персоналу.

За словами інженера, його завдання полягає в тому, щоб дані були точними, структурованими й надійними, а приватна інформація залишалася захищеною. Він наголошує, що конфіденційність і правила роботи з даними мають закладатися в архітектуру системи від початку, а не додаватися після її створення.

Спостереження за діями ШІ

Саран зазначив, що за великими мовними моделями складніше спостерігати, ніж за базами даних або вебсервісами. Для ШІ-агентів потрібно фіксувати послідовність дій системи, інформацію, на якій ґрунтувалися її відповіді, а також те, чи відповідав результат очікуванням користувача. Водночас такі механізми мають не розкривати приватні дані, які система обробляє.

Інженер порівняв цю роботу з перевіркою медичних приладів: навіть незначна похибка в показниках може мати суттєве значення під час ухвалення складних рішень. На його думку, аудитованість і прозорість систем штучного інтелекту стануть одними з важливих інженерних завдань наступного десятиліття.

Досвід роботи з даними

До Anthropic Саран працював у Yahoo, Intuit, Meta та Wealthfront. У Yahoo він долучився до створення централізованого сховища даних із єдиними визначеннями ключових метрик, зокрема кількості щоденно активних користувачів. Згодом його команда розробила внутрішній інструмент вебаналітики Yahoo! Digits.

У Intuit Саран допомагав створювати аналітичну інфраструктуру для продуктів компанії, включно з TurboTax і QuickBooks, а також працював над системами захисту даних платників податків. У Meta він розробив систему Metric360 для уніфікованого обчислення відеометрик після того, як компанія визнала помилку, що призвела до завищення переглядів відео.

Саран також вважає, що IEEE може сприяти формуванню стандартів для інфраструктури штучного інтелекту та розширювати доступ інженерів з різних країн до міжнародної професійної спільноти.