Что делать, если ИИ-сотрудник ошибается

Если цифровой сотрудник дал неправильный ответ или выполнил не то действие, не стоит сразу менять модель или переписывать весь промпт.

Сначала нужно определить источник ошибки.

Шаг 1. Посмотрите исходный запрос

Проверьте, что именно получил сотрудник.

Иногда пользователь сформулировал запрос неоднозначно или не предоставил обязательные данные.

Шаг 2. Проверьте источник

Если ошибка связана с фактом, нужно понять, откуда взялась информация.

Например:

• старый прайс;
• устаревший FAQ;
• неправильная версия регламента;
• конфликт документов.

Если источник неправильный, исправлять нужно базу знаний.

Шаг 3. Проверьте инструкцию

Возможно, правило описано недостаточно точно.

Например:

"Давать скидку постоянным клиентам".

Непонятно:

• какую;
• кому;
• когда;
• в каком размере;
• нужна ли проверка.

Правило нужно формализовать.

Шаг 4. Проверьте права

Иногда сотрудник выполнил действие, которое вообще не должен был иметь возможность выполнить.

В таком случае проблема в доступах.

Шаг 5. Проверьте интеграцию

Внешняя система могла:

• вернуть старые данные;
• не ответить;
• отклонить запрос;
• вернуть неполный результат.

ИИ не должен маскировать ошибку интеграции уверенным ответом.

Шаг 6. Проверьте handoff

Возможно, сотрудник вообще не должен был продолжать задачу.

Например, конфликтный запрос стоило передать человеку.

Тогда нужно добавить или уточнить правило эскалации.

Шаг 7. Проверьте approval

Если ошибка связана с чувствительным действием, возможно, его стоит перевести в режим подтверждения человеком.

Шаг 8. Проверьте модель

Если данные, правила и интеграции корректны, проблема может быть в поведении модели.

Тогда нужно:

• улучшить инструкцию;
• изменить структуру контекста;
• протестировать другую модель;
• добавить валидацию;
• сузить сценарий.

Не исправляйте единичный кейс вслепую

Одна ошибка не всегда означает системную проблему.

Полезно собрать несколько похожих случаев и понять общий паттерн.

Введите категории ошибок

Например:

• данные;
• промпт;
• модель;
• API;
• права;
• handoff;
• human approval;
• пользовательский ввод.

Так легче видеть, что ломается чаще всего.

После исправления повторите тест

Используйте тот же сценарий, на котором была ошибка.

Затем проверьте соседние случаи, чтобы исправление не ухудшило другой участок процесса.

Что читать дальше

История работы сотрудника

Как оценивать качество работы ИИ-сотрудника

Актуальность и версии информации

История и журнал действий