Аудит прошлых сеансов (beta)

Подсчитайте, как часто агент совершал неэффективные или рискованные действия в прошлых транскриптах

Бета-функция. Аудит поставляется в виде бета-версии, пока мы собираем первоначальные отзывы. Каталог детекторов и формат отчета могут измениться перед следующим стабильным выпуском. Пожалуйста, откройте issue, если что-то выглядит неправильно.

Аудит повторно воспроизводит ваши прошлые транскрипты agent-CLI через механизм политик failproofai и создает удобный для совместного использования визуальный отчет на странице /audit dashboard — архетип вашего агента, оценка от 0 до 100 и точно то, какие политики могли бы поймать что-либо.

Запустите его

Три способа — все ведут к одному отчету /audit.

npx (без установки)

npx -y failproofai audit

failproofai audit

failproofai

Без установки

npx -y failproofai audit загружает failproofai, запускает сканирование и открывает дашборд для вас — ничего не нужно устанавливать заранее.

Из CLI

failproofai audit запускает сканирование в вашем терминале, затем автоматически открывает localhost:8020/audit по завершении.

Из дашборда

Запустите failproofai и нажмите Audit в навигационной панели (между Policies и Projects) или откройте /audit напрямую.

Запустите failproofai audit -h (или --help) чтобы увидеть справку по использованию. Аудит работает полностью офлайн — не требуется аккаунт или сетевое соединение — и дашборд продолжает работать до тех пор, пока вы не остановите его с помощью Ctrl+C.

Дашборд сканирует прошлые транскрипты agent CLI на этой машине (Claude Code, Codex, Copilot, Cursor, OpenCode, Pi, Gemini) и отчитывается о том, как часто агент совершал действия, которые failproofai предназначена остановить — проверки переменных окружения, force push, избыточные префиксы cd <cwd>, sleep-polling циклы, повторное чтение файлов, только что отредактированных, и многое другое.

Для каждого транскрипта каждое событие tool-use повторно воспроизводится через 39 встроенных политик и через 8 детекторов только для аудита, которые ловят паттерны, еще не охватанные политиками времени выполнения. Подсчеты агрегируются по политикам / детекторам во всех сеансах.

Что вы получите

Страница /audit — это один экран, общедоступный постер, за которым следуют четыре раздела ниже складки:

1. Постер — идентичность вашего агента с первого взгляда: его архетип (один из 8 — optimist, cowboy, explorer, goldfish, paranoid architect, precision builder, hammer, ghost), ключевые слова его персоны, насколько редкий этот архетип и оценка от 0 до 100 с полосой уровня (S вниз до bottom tier). Создано для совместного использования — публикуйте в X или LinkedIn или загружайте как PNG.
2. // strengths — то, что ваш агент уже делает хорошо, как реальные цифры из сканирования (например, чистый процент tool-call, 0 попыток push-to-main), показывается только там, где соответствующая политика имеет чистую запись.
3. // quirks — то, что прошло мимо: ранжированная таблица поведений, которые failproofai перехватила бы — когда это последний раз произошло, что прошло (и встроенная функция, которая это заблокировала бы), его серьезность и как часто это было замечено (new / recurring / N× seen).
4. // how to improve — рекомендуемый список исправлений: одна строка на политику с копируемой failproofai policy add <slug>, плюс кнопка install all, которая включает все рекомендации сразу и показывает вашу прогнозируемую оценку, если бы вы это сделали.
5. // come back better — выработайте привычку: установите напоминание по электронной почте о повторном аудите reminder (3d / 7d / 14d / 30d) или проведите повторный аудит сейчас, и пригласите друга запустить свой собственный аудит (отправляется с failproof.ai, скопировано вам). Напоминания и приглашения требуют входа — см. failproofai auth.

Детекторы только для аудита

Они обнаруживают паттерны “глупого поведения”, которые (еще) не применяются в реальном времени. Они работают только во время аудита и никогда не блокируют живой вызов tool.

Детектор	Что считается
redundant-cd-cwd	Bash команды, начинающиеся с cd <cwd> && …, даже если команды уже работают в cwd.
prefer-edit-over-read-cat	cat/head/tail/less/more на одном исходном файле — используйте инструмент Read.
prefer-edit-over-sed-awk	sed -i / awk … > file встроенные редактирования — используйте инструмент Edit.
prefer-write-over-heredoc	Heredoc / многострочная echo > file запись файлов — используйте инструмент Write.
sleep-polling-loop	Длинный sleep N (≥ 30s) или while …; sleep …; done polling циклы.
find-from-root	find /, find /home, find /usr и т.д. — ограничьте cwd вместо этого.
git-commit-no-verify	git commit … --no-verify / -n, пропуск хуков.
reread-after-edit	Read файла, который был только что Edit/Write в том же сеансе.

Кэши

• Кэш на транскрипт по ~/.failproofai/cache/audit/<sha1>.json, индексируемый по (mtime, size, engineVersion, detectorVersion) — автоматически инвалидируется, когда транскрипт или код политики/детектора изменяются. Каждая запись также хранит временную метку cachedAt как метаданные TTL (не являющиеся частью ключа кэша); записи старше 7 дней отклоняются при чтении, чтобы долгоживущие результаты не переживали развивающееся намерение детектора.
• Кэш полного результата по ~/.failproofai/audit-dashboard.json (режим 0600). Позволяет дашборду отображаться мгновенно при навигации без переквапуска. Также отклоняется при чтении после 7-дневного TTL — /audit затем переходит в пустое состояние и предлагает свежий запуск. Нажмите [ re-audit now ] рядом с нижней частью отчета, чтобы обновить — повторный аудит отправляет noCache: true, поэтому он обходит кэш на транскрипт и повторно сканирует каждый транскрипт вместо возврата кэшированного результата; запуск отправляет прогресс через липкую верхнюю полосу и заменяет результат на месте при успехе (без перезагрузки страницы; неудачный повторный аудит сохраняет предыдущий отчет).

Заметки

• Без изменений. Аудит повторно воспроизводится в режиме только для чтения. warn-repeated-tool-calls пропускается, потому что его боковой сопровождающий сеанс в противном случае был бы изменен.
• Политики рабочего процесса пропущены. Политики require-*-before-stop срабатывают только на событиях Stop и execSync в соответствии с живым состоянием git — они не имеют значимой интерпретации “что бы произошло в 2025”, поэтому они не отображаются в подсчетах аудита.
• Пользовательские политики пропущены. Пользовательские хуки, предоставленные пользователем, не воспроизводятся (они могли измениться с момента исходного сеанса).