Оценка RAG: groundedness и качество ответов

Задача страницы. Дать практический метод оценки RAG‑систем: как измерять groundedness/faithfulness (опора на источники, отсутствие галлюцинаций), метрики retrieval (Recall@K, Precision@K, MRR), качество конечных ответов (correctness, цитируемость), а также как организовать оффлайн‑бенчмарки и онлайн A/B.

TL;DR

  • Делите оценку на три слоя: Retrieval → Augmentation → Answer.
  • Главные метрики: Recall@K и Context Precision (retrieval), Groundedness и Citation Accuracy (answer).
  • Используйте LLM‑as‑Judge по строгому рубрикатору + авто‑проверки (пересечение с контекстом, цитаты, факты).
  • Стройте оффлайн наборы из ваших документов, а на проде запускайте canary A/B с бизнес‑метриками и p95‑латентностью.

Связанные разделы: /solutions/rag/ • /solutions/rag/vector-db/ • /solutions/embeddings/ • /solutions/llm-training/eval/ • /solutions/llm-inference/guardrails/ • /solutions/llm-inference/observability/ • /solutions/llm-inference/costs/

Картина метрик: от поисковой части к ответу

Retrieval

  • Recall@K — доля запросов, для которых целевой фрагмент попал в top‑K.
  • Precision@K — доля релевантных среди top‑K.
  • MRR / Hit@K — чувствительность к позиции релевантов.
  • Latency p95 — задержка поиска (см. /solutions/rag/vector-db/).

Augmentation (сбор контекста)

  • Context Precision — доля вставленных в подсказку фрагментов, реально нужных для ответа.
  • Coverage — сколько ключевых фактов из эталона покрыто контекстом.
  • Redundancy — дубликаты/пересечения в контексте.

Answer (итоговая генерация)

  • Groundedness/Faithfulness — все утверждения подтверждаются контекстом.
  • Citation Accuracy — корректные отсылки к источникам (id/секции).
  • Correctness — соответствие эталонному ответу (если он есть).
  • Style/Clarity — краткость, структура, соблюдение инструкции.
  • Latency p95 / Cost per 1M — эксплуатационные показатели (см. /solutions/llm-inference/costs/).

Общий оффлайн‑пайплайн оценки

Документы → очистка → чанкование → (опц.) ручная разметка Q/A
 ↘ генерация кандидатов вопросов (по секциям)
Q → top‑K retrieve → сбор контекста → ответ LLM → оценка (правила + Judge)
 ↘ метрики (retrieval/answer)
  1. Сэмплинг вопросов: берите заголовки/абзацы, генерируйте 1–3 вопроса на фрагмент + добавляйте «adversarial» (перефраз, многосоставные, кросс‑разделы).
  2. Эталон (gold): короткая справка (1–3 предложения) + обязательные ссылки на фрагменты (id).
  3. Запуск пайплайна: ваш прод‑стек retrieval + сбор контекста + ответ.
  4. Скоринг: автоматические проверки + LLM‑Judge по жёсткой рубрике.
  5. Агрегация: отчёты по сегментам (темы, длины, языки, источники).

Подробнее про подготовку и чанкование: /solutions/rag/, про индексы: /solutions/rag/vector-db/.

Рубрика для Groundedness (строгий JSON‑контракт) Идея. Judge должен отвечать строго JSON‑ом по схеме: для каждого проверяемого утверждения — supported / contradicted / insufficient.

JSON Schema (фрагмент):

{
 "type": "object",
 "properties": {
 "score_0_1": {"type":"number", "minimum":0, "maximum":1},
 "claims": {
 "type": "array",
 "items": {
 "type":"object",
 "properties": {
 "text": {"type":"string"},
 "label": {"type":"string", "enum":["supported","contradicted","insufficient"]},
 "evidence_ids": {"type":"array","items":{"type":"string"}}
 },
 "required":["text","label"]
 }
 },
 "notes": {"type":"string"}
 },
 "required": ["score_0_1","claims"]
}

Инструкция Judge (кратко):

  • Рассматривай только предоставленный контекст.
  • Не делай внешних допущений.
  • Любое утверждение, не подтверждённое контекстом, — insufficient.
  • Противоречия — contradicted.
  • Выдай итоговый score_0_1 как долю утверждений в метках supported.

Автопроверки до Judge: дешёвые и надёжные

  1. Citation Accuracy: все указанные источники должны присутствовать в top‑K; id/якоря валидны.
  2. Overlap Heuristic: доля уникальных сущностей/терминов ответа, встречающихся в контексте (proxy groundedness).
  3. Length/Policy: соблюдение лимитов max_tokens, отсутствие запрещённых паттернов (см. /solutions/llm-inference/guardrails/).
  4. Redundancy: доля пересечений между чанками в подсказке (>30% — признак неэффективного сборщика контекста).

Метрики и формулы

Retrieval

Recall@K = (#запросов с хотя бы 1 целевым фрагм. в top-K) / (#запросов)
Precision@K= (#релевантных в top-K) / (K × #запросов)
MRR = avg(1 / rank_первого_релеванта)

Groundedness (по Judge)

G = avg(score_0_1)
HallucinationRate = (#claims с label ∈ {contradicted, insufficient}) / (#claims)

Citation Accuracy

CA = (#ответов, где все указанные цитаты ∈ top-K и корректны) / (#ответов с цитатами)

Итоговый интегральный балл (пример)

Score = 0.35*Recall@K + 0.25*G + 0.20*CA + 0.10*MRR + 0.10*ContextPrecision

Весы подбираются под ваш продукт (подробнее — /solutions/llm-training/eval/). Мини‑фреймворк оценки (псевдокод)

def eval_batch(queries, corpus, retriever, collector, llm, judge):
 R = [] # результаты по запросам
 for q in queries:
 topk = retriever.search(q, k=50) # (doc_id, score)
 ctx = collector.build(topk, budget_tokens=1200) # сбор контекста
 ans = llm.generate(q, ctx, max_new_tokens=200) # ответ
 auto = {
 "citation_ok": all(c in [d for d,_ in topk] for c in extract_citations(ans)),
 "overlap": entity_overlap(ans, ctx),
 }
 j = judge(q, ctx, ans) # JSON по схеме из §3
 R.append({"q":q, "topk":topk, "ctx":ctx, "ans":ans, "auto":auto, "judge":j})
 return aggregate_metrics(R) # формулы из §5

Как собирать датасеты под RAG

  • Стратифицированный сэмплинг. Балансируйте темы/разделы/форматы (текст/таблицы/код).
  • Adversarial‑варианты. Перефразы, запросы «с подвохом» (дубликаты терминов, редкие сущности, кросс‑док).
  • Шум/пропуски. Вставляйте ошибки и пропуски, чтобы проверить устойчивость поиска.
  • Мультиязычность. Вопросы/ответы на целевых языках; проверяйте, что эмбеддинги и индексы соответствуют.
  • Обновляемость. Храните версию корпуса/индекса, чтобы результаты были воспроизводимы.

Подготовка корпуса и индексов: /solutions/rag/ и /solutions/rag/vector-db/. Эмбеддинги: /solutions/embeddings/.

Онлайн A/B и продуктовые метрики

Что мерить в проде:

  • Deflection/Resolution Rate — доля диалогов, где пользователь не обратился к оператору/повтору.
  • Follow‑up редактирование — сколько раз переформулируют запрос.
  • CSAT/Thumbs — простая оценка пользователем.
  • Latency p95 и ошибки (см. /solutions/llm-inference/observability/).

Практика A/B:

  • Canary 5–10% трафика; фиксируйте версии: retriever@index@params, collector@v, model@quant.
  • Останавливайте эксперимент при деградации groundedness/CSAT или росте p95.

Поддерживайте стриминг (см. /solutions/llm-inference/streaming/) — UX важнее.

Пороговые значения (рабочие ориентиры)

  • Recall@K: ≥ 0.75 для K=10 при качественном корпусе; для «сложных» доменов стремитесь ≥ 0.6.
  • Groundedness (G): ≥ 0.85 для справочных ответов, ≥ 0.7 для «поясняющих» текстов.
  • Citation Accuracy: ≥ 0.9, иначе усиливайте сбор контекста и шаблоны ссылок.
  • Latency p95 (end‑to‑end): чат ≤ 1–1.5 с, аналитика ≤ 2–3 с (со стримингом).
  • HallucinationRate: ≤ 5–10% по claims — выше требует немедленного внимания.

Диагностика и улучшения

  • Низкий Recall@K → см. /solutions/rag/vector-db/: увеличьте nprobe, улучшите чанкование/метаданные, добавьте гибрид (метаданные → вектор).
  • Groundedness падает → сократите шум в контексте, ужесточите сбор (де‑дуп, сортировка по разделам), улучшите цитаты и стиль подсказки.
  • Citation Accuracy низкий → валидируйте id/якоря, не вставляйте «мертвые» ссылки, ограничьте преобразования текста.
  • Высокая p95 → уменьшите K и размер контекста, батчируйте поиск, используйте short/long пулы.
  • Галлюцинации → включите guardrails и пост‑фильтры (см. /solutions/llm-inference/guardrails/).

Отчёт и дашборды

Минимум графиков:

  • Распределение Recall@K / MRR по темам/языкам.
  • Groundedness и HallucinationRate по источникам.
  • Citation Accuracy и доля «пустых» ответов.
  • Latency p95: поиск/LLM/общая.
  • Стоимость (цена за 1M) vs качество (см. /solutions/llm-inference/costs/).

Интеграция в наблюдаемость: /solutions/llm-inference/observability/.

Чек‑лист перед продом

  • Есть оффлайн‑набор (вопросы/эталоны/цитаты) и пайплайн оценок.
  • Включены автопроверки (цитаты/пересечения/политики) и строгий Judge JSON.
  • Определены SLO по Recall@K, Groundedness, Citation Accuracy, p95.
  • Настроены A/B‑механики и дашборды качества/латентности/стоимости.
  • План деградации: снижение K, ужесточение сборщика контекста, фоллбек‑модель.
  • Nightly‑прогон бенчмарка и алерты при регрессиях.

Как запускать это в cloudcompute.ru

  • В /solutions/templates/ используйте “RAG‑Eval Harness”: – генерация валид‑набора из вашего корпуса; – запуск retrieval/collector/LLM; – автопроверки + Judge JSON; – отчёт с метриками и артефактами (семплы ответов).
  • Для экономики и SLA: /solutions/llm-inference/costs/, наблюдаемость — /solutions/llm-inference/observability/, безопасность — /solutions/llm-inference/guardrails/.

Навигация по разделу «RAG»

/solutions/rag/ • /solutions/rag/vector-db/ • /solutions/embeddings/ • /solutions/llm-training/eval/ • /solutions/llm-inference/guardrails/ • /solutions/llm-inference/observability/ • /solutions/llm-inference/costs/

Готовы запустить?

Запустить GPU-сервер