ИИ для бизнеса
Что такое LLM простыми словами
Что такое LLM, как большие языковые модели работают с текстом, где их используют в бизнесе и какие ограничения нужно учитывать.
LLM, или Large Language Model, - это большая языковая модель.
Ее задача - работать с языком: понимать текст, продолжать его, отвечать на вопросы, классифицировать, извлекать информацию, переписывать и анализировать.
ChatGPT, Claude, Gemini и другие современные системы используют LLM как основу.
Как это работает очень упрощенно
Модель получает текст и прогнозирует, какие элементы языка наиболее вероятно должны идти дальше.
Но из-за масштаба обучения она умеет решать гораздо более сложные задачи, чем простое автодополнение.
Например:
- объяснить документ;
- выделить главное;
- сравнить варианты;
- написать письмо;
- классифицировать обращение;
- извлечь данные;
- сформировать план.
Что LLM знает о вашей компании
По умолчанию - ничего надежного о текущих внутренних правилах.
Она не знает:
- ваш актуальный прайс;
- текущие регламенты;
- клиентов;
- воронку;
- внутренние договоренности;
- новые продукты.
Чтобы использовать LLM в бизнесе, ей нужен дополнительный контекст.
Откуда берется контекст
Например:
- база знаний;
- документы;
- CRM;
- текущий диалог;
- инструкции;
- результаты API.
RAG помогает находить нужные фрагменты корпоративных знаний.
Tool calling позволяет использовать внешние системы.
Почему LLM может ошибаться
Модель не является базой данных и может сгенерировать убедительно звучащий, но неправильный ответ.
Поэтому в бизнес-сценариях важны:
- источники;
- валидация;
- права;
- ограничения;
- human approval;
- handoff.
Что такое токены
LLM работает не с буквами напрямую, а с токенами.
Токен - это небольшой фрагмент текста.
Количество токенов влияет на объем контекста и стоимость многих API.
Контекстное окно
Контекстное окно определяет, сколько информации модель может учитывать в одном запросе.
Большое окно полезно, но не означает, что нужно передавать туда весь архив компании.
Чаще правильнее найти только релевантные данные.
LLM и ИИ-агент
LLM - это "мозг" языковой части.
Агент добавляет вокруг нее:
- инструменты;
- правила;
- состояние;
- действия;
- контроль.
Поэтому LLM и ИИ-агент - не синонимы.
Как выбирать модель
Для бизнеса важно тестировать модель на своей задаче.
Одна модель может лучше писать тексты, другая - работать с кодом, третья - быть дешевле или быстрее.
Смотреть только на общий рейтинг недостаточно.