Безопасность
Как ограничить действия сотрудника
Как ограничить действия ИИ-сотрудника: запреты, права, белые списки инструментов, human approval и передача человеку.
У цифрового сотрудника должны быть не только инструкции, но и реальные ограничения.
Если действие не относится к роли или несет высокий риск, лучше сделать его технически недоступным.
Что можно ограничивать
Например:
- удаление данных;
- изменение цены;
- изменение реквизитов;
- массовую отправку;
- публикацию;
- создание финансового обязательства;
- отправку юридического документа;
- изменение прав;
- работу с закрытыми разделами.
Белый список действий
Практичный подход - разрешать только заранее определенные инструменты.
Например, Максимусу доступны:
get_lead
create_lead
add_comment
Но недоступны:
delete_deal
change_company_bank_details
Так контроль не зависит только от текста системной инструкции.
Ограничения по условиям
Иногда действие разрешено только при определенных условиях.
Например:
- скидка до 5%;
- встреча только в рабочее время;
- письмо только по утвержденному шаблону;
- изменение только одного поля.
Такие правила лучше проверять на уровне приложения.
Когда использовать approval
Если действие допустимо, но требует человеческого решения, его не нужно полностью запрещать.
Используется схема:
ИИ предлагает -> человек проверяет -> действие выполняется.
Когда нужен полный запрет
Полный запрет оправдан, если:
- действие не нужно роли;
- ошибка трудно обратима;
- нет надежного правила;
- решение должно всегда принимать человек.
Ограничения и tool calling
Если цифровой сотрудник использует инструменты, список функций должен быть максимально узким.
Подробнее: Что такое tool calling.