Безопасность
Как устроен контроль цифровых сотрудников
Как контролировать ИИ-сотрудников: права доступа, ограничения, human approval, передача человеку и история действий.
Цифровой сотрудник должен работать в понятных границах. Чем больше процессов и систем подключается, тем важнее заранее определить, что сотрудник может видеть, какие действия выполнять самостоятельно и где требуется человек.
Контроль в Штатуме строится не вокруг идеи "ИИ должен быть безошибочным", а вокруг управляемого процесса.
Основные уровни контроля
Практически контроль состоит из пяти слоев:
Роль. Сотрудник отвечает только за свою функцию.
Доступы. Он видит только разрешенные данные и системы.
Ограничения. Часть действий может быть запрещена полностью.
Подтверждения. Чувствительные действия выполняются после решения человека.
История. Действия и ключевые события можно разбирать после выполнения.
Такой подход позволяет не выбирать между полной ручной работой и полной автономностью.
Роль как первая граница
Максимус работает с продажами. Это не означает, что он должен иметь доступ ко всем данным компании.
Адриан работает с клиентским сервисом. Ему не обязательно видеть внутренние юридические документы.
Юриус работает с юридическими материалами, но не должен самостоятельно принимать бизнес-решения от имени компании.
Чем понятнее роль, тем проще ограничить доступы и действия.
Минимально необходимые права
Для каждого процесса полезно задать вопрос:
Что именно перестанет работать, если не дать это право?
Если ответ "ничего", право не нужно.
Например, если Максимус должен только создать лид и добавить комментарий, ему не требуется удаление сделок.
Подробнее: Права доступа.
Ограничения действий
Даже если внешняя система технически поддерживает операцию, она не обязана быть доступна ИИ.
Можно отдельно запретить:
- удаление;
- массовые изменения;
- изменение цены;
- изменение реквизитов;
- публикацию;
- юридически значимые действия.
Подробнее: Как ограничить действия сотрудника.
Human approval
Если действие допустимо, но требует контроля, используется подтверждение человеком.
Пример:
Максимус предлагает скидку -> менеджер проверяет -> подтверждает или отклоняет -> только после этого действие продолжается.
Это особенно полезно там, где ошибка может повлиять на деньги, обязательства или репутацию.
Подробнее: Human approval - подтверждение действий человеком.
Передача человеку
Иногда ИИ не должен продолжать задачу вообще.
Причины:
- недостаточно данных;
- источники конфликтуют;
- запрос вне компетенции;
- пользователь просит человека;
- требуется профессиональная оценка;
- возникает конфликт;
- действие запрещено.
В таких случаях правильный результат - handoff.
История действий
После выполнения важно иметь возможность восстановить цепочку:
- что произошло;
- какой сотрудник работал;
- какие данные использовались;
- какое действие было предложено;
- требовалось ли подтверждение;
- что произошло дальше.
Это помогает разбирать ошибки и улучшать процесс.
Почему нельзя строить безопасность только на промпте
Инструкция "не удаляй данные" полезна, но недостаточна как единственный механизм.
Критичное действие лучше ограничивать на уровне реальных прав и инструментов.
Если у сотрудника нет разрешения на удаление, промпт не становится последней линией защиты.