Короткий ответ
Цитаты, provenance и ACL в RAG: как доказать происхождение ответа — это production-задача, а не демонстрационный prompt. Практический принцип: возвращать не только фрагмент текста, но и идентификатор документа, revision, раздел, права и путь к оригиналу. Ключевое решение: цитата без provenance может создавать ложную уверенность, особенно когда в архиве несколько редакций одного стандарта или чертежа. В инженерной среде результат принимается по evidence, traceability и воспроизводимой проверке, а не по уверенности формулировки модели.
Граница системы и предмет контроля
RAG — это не загрузка PDF в чат, а информационно-поисковая система вокруг модели. Качество ответа зависит от версии источника, сегментации, метаданных, прав доступа, retrieval-алгоритма, reranking и того, как контекст передан генератору. В инженерной среде особенно важны revision, статус документа, изделие, материал, обозначение, единицы, применимость и связь с первичным документом.
Слабый retrieval делает сильную модель бесполезной: она убедительно обобщит нерелевантный или устаревший контекст. Поэтому RAG принимают по контрольному набору вопросов и отдельно измеряют поиск и генерацию. Нельзя сводить проверку к субъективному «ответ выглядит правильно»: нужны ожидаемые документы, обязательные цитаты, проверки ACL, сценарии с противоречиями и вопросы, на которые система должна честно ответить «данных недостаточно».
Что должно быть определено до запуска
Артефакты и архитектурные границы
В RAG нужно физически разделять ingestion, index, retrieval и generation. Ingestion отвечает за нормализацию и metadata; index — за представление и обновление; retrieval — за отбор кандидатов и reranking; generation — за формирование ответа только из разрешённого контекста. Ошибка любого слоя должна быть локализуема по trace.
Для инженерных документов ключевой объект — не chunk сам по себе, а chunk вместе с document ID, revision, status, ACL, section/page и датой действия. При конфликте revisions система должна уметь отдать приоритет действующему документу или явно показать противоречие, а не смешивать фрагменты в один правдоподобный ответ.
Практический workflow
После retrieval сохраняются query, filters, найденные IDs, scores/reranking и применённые ACL. Если требуемый источник не найден либо найден только superseded документ, генерация должна либо остановиться, либо явно пометить недостаточность доказательств.
Инженерный сценарий
RAG сначала запускают в shadow/read-only режиме: ответы и цитаты сравниваются с экспертным эталоном. Только после стабилизации retrieval система становится источником контекста для downstream-agentов.
Что измерять
citation coverageФиксируйте numerator/denominator и сегментируйте по типу/сложности задач; общий процент может скрыть critical slice.citation correctnessОпределение метрики, единица, denominator и окно наблюдения фиксируются в metric dictionary.authorized-retrieval rateФиксируйте numerator/denominator и сегментируйте по типу/сложности задач; общий процент может скрыть critical slice.broken-source rateФиксируйте numerator/denominator и сегментируйте по типу/сложности задач; общий процент может скрыть critical slice.unsupported-claim rateФиксируйте numerator/denominator и сегментируйте по типу/сложности задач; общий процент может скрыть critical slice.RAG оценивают минимум в двух слоях: retrieval и generation. Высокий groundedness не компенсирует плохой Recall@k, а высокий recall не компенсирует неверные citations или доступ к запрещённому документу.
Критерии приёмки
| Контроль | Минимальный критерий |
|---|---|
| Scope | Для «Цитаты, provenance и ACL в RAG: как доказать происхождение ответа» однозначно определено, что система делает и что остаётся вне её полномочий. |
| Data | Все входы имеют источник, revision/status и область применимости; неизвестные значения не подставляются автоматически. |
| Control | ACL filtering до генерации; immutable source ID; revision в citation. |
| Evidence | Сохраняются citation object, provenance chain, access decision, source preview; по ним можно восстановить ход операции. |
| Quality | Минимум две профильные метрики контролируются на versioned eval-наборе: citation coverage и citation correctness. |
| Release | Изменяющие действия имеют approval/rollback там, где цена ошибки выходит за согласованный риск. |
Failure modes и защитные меры
- ответ раскрывает факт из запрещённого документа. Защитная мера: ACL filtering до генерации; событие сохраняется как regression/incident case.
- source URI не открывается пользователю. Защитная мера: immutable source ID; событие сохраняется как regression/incident case.
- ревизия скрыта. Защитная мера: revision в citation; событие сохраняется как regression/incident case.
- цитата указывает на соседний chunk. Защитная мера: проверка доступности ссылки; событие сохраняется как regression/incident case.
- генератор добавляет неподтверждённый вывод. Защитная мера: не цитировать скрытый источник через пересказ; событие сохраняется как regression/incident case.
Как переводить из пилота в production
Пилот RAG начинают с ограниченного корпуса с известными owners и revisions. До подключения генерации проверяют retrieval: контрольные вопросы, expected document IDs, фильтры и ACL. Затем добавляют citations/groundedness и только после этого используют ответы в агентном workflow.
Обновление corpus и retrieval configuration выпускают как версию индекса. Для canary сравнивают old/new index на одном query set; новые документы не должны ухудшать critical queries. При деградации переключение на предыдущий индекс выполняется без переиндексации всего источника.
Traceability и эксплуатационная запись
Минимальная запись RAG: query, filters, corpus/index version, retrieved document/chunk IDs, scores и reranking, ACL decision, контекст генерации, claims/citations и итоговый abstention/answer status.
Чек-лист перед production
Навигация по Wave AI R5 · часть 2 из 5
Часть «RAG» содержит 7 связанных материалов. Серия идёт от архитектуры к контролю и измерению; каждая статья самостоятельна и ссылается на соседние элементы общего production-контура.
Связать AI-контур с проверяемыми данными Fits Calc
Fits Calc целесообразно использовать как детерминированный расчётный и справочный слой: агент получает структурированные входы и результаты через контролируемые tools, а не воспроизводит инженерный расчёт свободным текстом. Это упрощает verifier, traceability и повторную проверку.
Открыть Fits Calc →Источники и официальная документация
- OpenAI — File search
- Microsoft — RAG in Azure AI Search
- Microsoft — Agentic retrieval overview
- Microsoft — Agentic RAG architecture
- OpenAI — Evaluate agent workflows
- NIST — Generative AI Profile NIST AI 600-1