RAG/базы знаний: что согласовать перед началом работ
RAG/базы знаний — это не просто подключение папки с документами к языковой модели. Рабочая система состоит из поиска, прав доступа, обновления источников, правил ответа и приёмки. Если команда начинает с демонстрации, а договорённости откладывает, проект упирается в вопросы: какой документ считать главным, что делать с устаревшей версией, кто отвечает за неверный ответ и как измерить пользу. Ниже — рамка, которую можно согласовать до начала работ. Она подходит и внутренней команде, и заказчику с подрядчиком.
Какой запрос закрывает RAG/базы знаний
RAG (retrieval-augmented generation) сначала ищет фрагменты в базе знаний, затем передаёт их языковой модели как опору для ответа. Подход нужен не для того, чтобы модель «помнила» всё, а для того, чтобы опираться на проверяемые материалы. Польза появляется, когда ясно, какую рабочую задачу закрывает система.
Согласуйте сценарий в формате: кто пользователь, какой вопрос он задаёт, какой ответ хочет получить и что сделает после ответа. Например, сотрудник поддержки ищет порядок возврата, бухгалтер — формулировку внутреннего регламента, новый менеджер — объяснение процесса. Если пользователю нужна только ссылка на раздел инструкции, может хватить поиска по документам без генерации. Если нужна быстрая сводка с цитатами, RAG уместен.
Отдельно зафиксируйте цену ошибки. Для внутренней навигации по регламентам ошибка раздражает, но её можно исправить. Для клиентской коммуникации, финансовых или юридических вопросов нужен более строгий режим: проверка человеком, отказ от ответа при недостатке данных, явные предупреждения. Это не юридическая инструкция, а рамка для дизайна процесса: конкретные требования зависят от сферы и должны проверяться у компетентного специалиста.
Назовите, чего система делать не должна. Например, не отвечать на вопросы вне согласованной темы, не раскрывать закрытые документы, не выдавать предположение за факт, не выполнять действия без подтверждения. Такой список ограничений помогает выбрать архитектуру и заранее обсудить поведение с пользователями.
Проверьте, не смешиваются ли в одном запросе разные задачи: найти документ, объяснить его, принять решение и выполнить действие. RAG отвечает за поиск и подготовку ответа, но не заменяет бизнес-процесс. Если пользователю нужно оформить заявку или изменить данные, это отдельные права и отдельная ответственность. Чем яснее граница, тем проще тестировать.
Карта договорённостей до старта
До начала разработки заполните карту договорённостей. Она не заменяет техническое задание и договор, но показывает пробелы раньше, чем они станут блокерами.
| Блок | Что зафиксировать | Кто подтверждает |
|---|---|---|
| Задача и пользователь | Какой сценарий проверяем, кто пользователь, какой результат считаем полезным | Владелец продукта |
| Источники | Перечень документов и данных, владельцы, актуальность, ограничения | Владельцы данных |
| Доступ | Кто что видит, как права наследуются, где хранятся логи | Владелец продукта и специалист по информационной безопасности или юрист |
| Ответ | Формат, язык, цитаты, отказ при отсутствии данных, эскалация | Редактор и поддержка |
| Качество | Набор вопросов, критерии приёмки, порядок разбора ошибок | Тестировщик и заказчик |
| Поддержка | Кто обновляет базу, как часто, как вносятся изменения | Владелец базы |
Ориентир для проверки: если у источника нельзя назвать владельца, это сигнал сначала навести порядок в документе или исключить его из пилота. База знаний не создаёт ответственность за актуальность автоматически.
Заполняйте карту вместе. Владелец продукта отвечает за сценарий, владельцы данных — за содержание, инженеры — за реализацию, поддержка — за то, как ответы используются в работе. Если несколько ролей отсутствуют, это тоже решение: кто-то должен временно взять функцию или проект стоит приостановить.
В карте отметьте не только «что делаем», но и «что не делаем на этом этапе». Например, не подключаем внешние сайты, не отвечаем на вопросы по договорам без юридической проверки, не даём прогнозы. Ограничения снижают риск и помогают провести пилот в понятных границах.
Карта работает как дорожная карта: сначала сценарий и данные, затем доступ и формат ответа, потом пилот и приёмка. Если переставить этапы, можно потратить время на настройку модели, не решив вопрос с источниками.
Источники и владельцы данных
Список источников — не просто перечень файлов. Для каждого источника нужен паспорт:
- владелец, который отвечает за содержание и подтверждает изменения;
- статус: действующий, архивный, черновик, справочный;
- формат и способ обновления: ручная выгрузка, ссылка на систему, регулярная синхронизация;
- ограничения: конфиденциальность, персональные данные, права на использование;
- правило отзыва: как быстро документ исчезает из ответов после отмены или замены.
Если в компании несколько версий одного регламента, RAG может найти устаревшую. Поэтому договоритесь, какой источник считается каноническим. Для внешних документов проверьте, разрешено ли передавать фрагменты в выбранную модель и хранить их в индексе. Это не формальность: от этого зависит не только качество, но и допустимость использования.
Пример: представим, что база должна отвечать по кадровым процедурам. Один документ может быть официальным приказом, другой — памяткой для менеджеров, третий — устаревшей презентацией. Если не обозначить приоритет, система соберёт ответ из смеси источников. Лучше явно указать, какие документы имеют приоритет и что делать при противоречии.
Определите частоту обновления. Для одних источников достаточно ручной проверки перед публикацией, для других нужна синхронизация с системой-источником. Не обещайте «актуальность в реальном времени», если процесс обновления этого не обеспечивает. Пользователю полезнее видеть дату версии и понимать, когда документ проверяли.
Для каждого источника определите минимальную единицу поиска. Это может быть раздел документа, статья, пункт регламента или карточка базы. Если резать документ слишком крупно, ответ будет содержать лишнее; если слишком мелко, потеряется контекст. Этот выбор проверяйте на вопросах пользователей, а не только на технических метриках.
Если документ содержит таблицы, сканы или сложную вёрстку, заранее решите, как они будут представлены в базе. Иногда полезнее хранить ссылку на оригинал и короткое текстовое описание, чем пытаться автоматически пересказать сложную форму. Качество извлечения текста влияет на ответ не меньше, чем модель.
Доступ, конфиденциальность и персональные данные
RAG меняет не только поиск, но и доступ к информации. Пользователь может получить ответ, собранный из документа, к которому у него нет прямого доступа. Поэтому права нужно проектировать вместе с поиском, а не добавлять после запуска.
Согласуйте, наследуются ли права пользователя на источник, какие разделы скрываются, как проверяется доступ перед показом цитаты, где хранятся запросы и логи, кто может их читать. Если ответ строится на персональных данных, проверьте применимые требования к обработке, хранению и передаче. Правила обработки персональных данных зависят от контекста; актуальные требования проверяйте в официальном источнике или у юриста.
Отдельный вопрос — внешняя модель. Если фрагменты документов отправляются поставщику сервиса, нужно понять, как они обрабатываются, хранятся ли, используются ли для обучения и какие настройки доступны. Не считайте, что «облако» или «внутренний контур» автоматически решает вопрос: проверяйте условия и договорённости. Если в базе есть чувствительные данные, обсудите минимизацию: подключать только нужные фрагменты, маскировать лишнее, ограничивать срок хранения и доступ.
Согласуйте поведение при ошибочной выдаче: кто останавливает систему, как уведомляются ответственные, как разбирается инцидент. Это часть рабочего процесса, а не только задача инженеров. Для пилота заранее определите, какие данные нельзя вводить в систему даже в тестовом режиме.
Для внутренней базы удобно ввести уровни доступа: общедоступные материалы, документы для команды, ограниченный круг. Но название уровней не заменяет проверку прав. Лучше, когда система получает права из существующей системы управления доступом, а не ведёт отдельный список вручную. Если это невозможно, согласуйте, кто и как поддерживает список и что происходит при переводе сотрудника.
Логи запросов помогают разбирать ошибки, но сами могут содержать чувствительные данные. Поэтому к ним применяются те же вопросы: кто видит, сколько хранятся, как удаляются. Не откладывайте это до этапа эксплуатации.
Формат ответа и границы ответственности
Формат ответа влияет на доверие сильнее, чем кажется. Один и тот же поиск может выдать короткую справку, длинный пересказ или ссылку на документ. До старта договоритесь, что считается хорошим ответом.
- отвечать только на основе найденных источников и показывать ссылки на них;
- честно говорить «в базе нет подтверждённого ответа», если фрагментов недостаточно;
- указывать дату или версию документа, если это важно для решения;
- отделять содержание документа от общего пояснения модели;
- не выдавать юридические, медицинские и финансовые советы как персональную инструкцию — направлять к компетентному специалисту;
- передавать человеку сложные, конфликтные или чувствительные случаи.
Для внутренней базы можно разрешить более разговорный тон и краткие сводки. Для клиентской — ограничить обещания, добавить прозрачные ссылки и понятные предупреждения. Если система должна работать на эстонском и русском, проверьте не только перевод, но и терминологию: в документах могут быть официальные названия, которые нельзя переводить вольно. Языковые правила зафиксируйте отдельно.
Ещё одна договорённость — цитаты. Ссылка на документ помогает проверить ответ, но не гарантирует, что фрагмент понят правильно. Поэтому назначьте, кто проверяет качество формулировок: редактор, владелец процесса или поддержка. Для чувствительных тем заранее опишите, какие ответы считаются недопустимыми и что делать при сомнении.
Не обещайте пользователям, что система «знает всё». Честное ограничение сферы помогает и качеству, и поддержке: меньше запросов вне темы, проще разбирать ошибки, понятнее, когда нужен человек.
Отдельно опишите, как система должна вести себя при противоречии источников. Например, если старый регламент говорит одно, а новый — другое, ответ не должен молча выбирать один вариант. Можно показывать оба фрагмента с датами и предлагать обратиться к владельцу процесса. Это снижает риск уверенного, но неверного ответа.
Для клиентской поддержки ограничьте длину ответа и добавьте возможность уточнить у специалиста. Для внутренней — разрешите более подробные выдержки, если пользователь сам запросил детали. Формат проверяйте на реальных рабочих вопросах, а не только на демонстрационных примерах.
Пилот, метрики и приёмка
Пилот ограничьте одним сценарием и небольшим набором источников, у которых есть владельцы. Так проще понять, где ошибки связаны с данными, где — с поиском, а где — с формулировками. Не обещайте точность в процентах до замера: сначала нужен набор вопросов и правила оценки.
Соберите вопросы из рабочего процесса: типичные, пограничные и такие, на которые в базе нет ответа. Проверьте, умеет ли система отказываться, не подменяет ли устаревший документ новым, сохраняет ли права доступа. Оценивайте не только «похоже ли на правду», но и проверяемость: есть ли цитата, верна ли она, не противоречит ли ответ другим источникам.
Критерии приёмки могут выглядеть так:
- для согласованного набора вопросов ответы содержат корректные ссылки или обоснованный отказ;
- пользователь без прав не получает фрагменты закрытых документов;
- ошибки можно разобрать: понятно, какой источник и какое правило ответа сработали;
- есть владелец базы и регламент обновления, а не только техническая демонстрация;
- определено, что делать при инциденте и как временно ограничить выдачу.
После пилота решите, что меняется в процессе: кто добавляет документы, как часто пересматривается индекс, кто рассматривает жалобы на ответы, как обучают пользователей. Если RAG — часть AI-агента, отдельно согласуйте границы действий: что агент только предлагает, а что выполняет автоматически. Полезно свериться с чек-листом по AI-агентам: AI-агенты: что согласовать в рабочем процессе перед началом работ. Для RAG-проекта это помогает не смешивать поиск ответа и реальные действия в системе.
Метрики не обязаны быть сложными. Для пилота достаточно смотреть, сколько ответов принято без исправлений, как часто система отказывается при отсутствии данных, сколько ошибок связано с устаревшими источниками, сколько запросов уходит человеку. Не превращайте одну цифру в единственный критерий: качество ответа и безопасность доступа могут быть важнее скорости.
Приёмка должна включать не только демонстрацию, но и передачу знаний. Команда поддержки должна понимать, как работает поиск, где смотреть источники и что делать при жалобе. Если после пилота никто не отвечает за базу, система быстро устаревает.
Не расширяйте базу «на всякий случай» без ответственного. Чем шире набор источников, тем больше шума, противоречий и рисков доступа. Лучше начать с узкой задачи, измерить пользу и добавить следующий сценарий после того, как процесс обновления и разбора ошибок станет рутинным.
Частые вопросы
С чего начать RAG/базы знаний, если нет готовой инфраструктуры?
Начните с одного узкого сценария и ограниченного набора источников, у которых есть владельцы. Зафиксируйте, какие вопросы система должна решать, какие данные можно использовать, как проверять ответы и кто отвечает за обновление. Пилот лучше строить так, чтобы его можно было остановить или расширить без переделки всех процессов. Конкретный стек и требования к инфраструктуре зависят от вашей среды.
Можно ли подключить все документы компании и потом разобраться?
Технически это может быть возможно, но с точки зрения рабочего процесса рискованно: у документов разный статус, права доступа и владельцы. Сначала определите, какие источники действительно нужны для сценария, кто отвечает за их актуальность и какие ограничения действуют. Если в документах есть персональные или конфиденциальные данные, проверьте требования к обработке в официальном источнике и с компетентным специалистом.