ИИ для бизнеса
Контекст компании и память ИИ-агента
Что такое контекст компании и память ИИ-агента, чем они отличаются от базы знаний и как использовать их в рабочих сценариях.
Чтобы ИИ работал как часть бизнеса, ему нужен контекст.
Контекст - это информация, которую система использует при выполнении текущей задачи.
Память - механизм, который позволяет сохранять часть информации и использовать ее позже.
Что такое контекст
В контекст могут входить:
- текущий диалог;
- роль;
- инструкции;
- найденные документы;
- карточка клиента;
- результат API;
- состояние процесса.
Например, Максимус знает, что клиент уже назвал город и объем. Эти данные не нужно спрашивать повторно.
Что такое память
Память может сохранять полезную информацию между отдельными взаимодействиями.
Например:
- предпочтительный язык клиента;
- факт, что компания уже проходила определенный этап;
- результат предыдущей задачи;
- устойчивое внутреннее правило.
Но далеко не все данные нужно превращать в долговременную память.
База знаний и память - разные вещи
База знаний хранит общую информацию компании.
Память чаще относится к конкретному пользователю, клиенту или процессу.
Например:
База знаний: "Стандартная доставка занимает 3 дня".
Память: "Этот клиент предпочитает доставку после 18:00".
История и память
История хранит события.
Память хранит выбранные факты, которые стоит использовать в будущем.
Не обязательно передавать модели всю историю каждого раза.
Контекстное окно
LLM имеет ограничение на объем информации в одном запросе.
Поэтому система должна выбирать релевантные данные.
RAG помогает находить нужные документы вместо отправки всей базы.
Что хранить не стоит
Не нужно автоматически запоминать все.
Плохие кандидаты:
- временные данные;
- случайные предположения;
- неподтвержденные выводы;
- лишние персональные данные;
- устаревающие условия.
Память и права
Даже если факт сохранен, он должен использоваться только там, где есть право доступа.
Память не должна обходить ролевую модель.
Лор компании
Лор можно рассматривать как часть долгосрочного корпоративного контекста.
Это знания о стиле, истории решений и внутренних привычках.
Подробнее: Что такое лор компании.