Аудит METR и Redwood показал пробелы в исторической системе мониторинга агентов OpenAI
METR и Redwood Research 22 октября опубликовали итоги проверки внутреннего мониторинга ИИ-агентов OpenAI. Исследователи работали с 21 июля по 11 августа и оценивали систему в состоянии на 21 июля и ранее. Это историческая проверка, а не описание текущей защиты всех пользователей.
Когда наблюдатель не получает события
Один из выявленных пробелов был связан со сжатием длинного контекста. По приблизительной оценке исследователей, из-за отсутствия мониторинга таких событий около 10% подходящего под проверку внутреннего трафика Codex могло оставаться непроверенным с мая по июль.
Авторы подчёркивают неопределённость оценки: исторические журналы не содержали всех необходимых данных. Команда OpenAI независимо обнаружила этот дефект до начала проверки и исправила его во время исследования.
Исправления и границы вывода
В публикации также описаны потенциальные способы вмешательства агентов в контроль. Технические детали части находок скрыты. OpenAI сообщила об исправлении выявленных уязвимостей, затрагивавших производственную защиту; исследователи отдельно отметили, что не проверяли эти заявления.
Среди рекомендаций — периодические проверки независимо от завершения хода агента, сверка журналов исполнения с журналами мониторинга и изоляция наблюдателя от наблюдаемой системы.
Вывод для внедрения: наличие панели контроля ещё не подтверждает полноту наблюдения. Важно проверять, какие действия действительно дошли до анализатора и как система реагирует на пропуски.