Безопасность
Передача человеку как механизм контроля
Почему human handoff является частью безопасной архитектуры ИИ-сотрудника и в каких ситуациях задача должна переходить человеку.
Human handoff - это не резервный режим на случай "плохого ИИ". Это один из основных механизмов контроля.
Цифровой сотрудник должен знать не только, что он может делать, но и когда обязан остановиться.
Когда handoff обязателен
Типовые ситуации:
- пользователь прямо просит человека;
- нет надежных данных;
- источники противоречат друг другу;
- запрос выходит за роль;
- требуется нестандартное решение;
- возникает конфликт;
- нужна профессиональная оценка;
- внешняя система недоступна;
- действие запрещено.
Handoff снижает риск выдуманного ответа
Если сотрудник не знает, что делать, у него должно быть безопасное действие по умолчанию.
Например:
"В доступной базе нет подтвержденной информации. Передаю вопрос ответственному сотруднику."
Это лучше, чем уверенный ответ на основе предположения.
Контекст должен сохраняться
Передача без контекста создает двойную работу.
Человеку нужно передать:
- исходный запрос;
- уже собранные данные;
- выполненные шаги;
- причину передачи;
- открытый вопрос.
Handoff и approval
Это разные механизмы.
Approval - ИИ знает действие, но ждет разрешения.
Handoff - дальнейшее решение принимает человек.
Например, нестандартная скидка может начинаться с approval.
Конфликтный клиент чаще требует handoff.
Handoff как метрика
Причины передачи полезно анализировать.
Если много handoff связано с одной темой, возможно, в базе знаний не хватает информации.
Если большинство связано с действительно нестандартными решениями, это нормальная граница автоматизации.