RAG production readiness checklist — 設計レビュー 1 枚で「本番に出せるか」を判定する
by ZeroZawa
この記事は、連載「使える RAG の作り方 — 測って・直して・運用する」全 5 部を、設計レビューの場でそのまま開ける 1 枚 に畳んだものです。本文を順に読む時間がないレビュアー、あるいは「自分の案件は本番に出せる状態か」を 10 分で点検したい人向けの索引として使ってください。各項目の詳細は本編にリンクしています。
まず引く 3 枚
- 症状から打ち手を引く採用判断表は 地図記事 にあります
- 本番受入 gate（最低条件 / 推奨条件）は Part 4 にあります
- 本番運用チェックリスト（Logging / PII / Eval / Drift / Rollback）は Part 5 にあります
コピペして埋めるテンプレートの置き場
- Part 1 — corpus inventory / failure case list
- Part 2 — chunking / metadata policy
- Part 3 — prompt 風 citation と架空 citation の post-check コード
- Part 4 — golden レコード実物（happy / negative / edge）、2〜3 時間の作成手順、評価レポート
- Part 5 — PII redact の最小コードと unit test の考え方
最終成果物が揃っているか
連載を「使った」状態は、次の 8 つが手元にあることです（詳細）。
- corpus inventory（active / draft / archived / stale の台帳）
- chunking / metadata policy
- failure case list + retrieval log の読み方
- golden set（30 件、negative 含む）
- RAGAs 評価レポート（Part 間 delta）
- 本番受入 gate
- logging / PII policy
- drift monitoring + rollback runbook
案件タイプで「厳しさ」が変わる
同じ RAG でも、案件タイプによって 評価・ログ・citation に求める厳しさ が違います。一律に作らず、自分の案件がどの列かを最初に決めてください。
| 観点 | 社内 FAQ ボット | 技術文書 QA | 規程・法務系 QA |
|---|---|---|---|
| 誤答のコスト | 低〜中 | 中 | 高（誤答が意思決定を歪める） |
| citation の要求度 | あると親切 | 推奨（裏取りに使う） | 必須（根拠なき回答は不可） |
| negative の扱い | 「分かりません」で十分 | 同左 + 関連 doc を提示 | 「資料からは判断できません」を強制 |
| ログ / PII | 中（氏名・社員番号） | 低〜中 | 高（機微・契約・個人情報） |
| golden set の重み | happy 多め | edge を厚く | negative / 反例を厚く |
| 人手レビュー | spot check | spot check | 全件 or 高比率で human-in-the-loop |
規程・法務系ほど、Part 4 の Faithfulness と negative gate、Part 5 の PII redaction と rollback を厳しく引く必要があります。社内 FAQ なら、まず動かして golden set で delta を見る軽量運用で十分なことも多いです。
最短ルート（12 手順）の現在地
設計レビューでは「いま 12 手順のどこにいるか」を 1 行で言えると話が早いです（手順の詳細）。
- corpus inventory → 2. lifecycle 定義 → 3. naive RAG → 4. top-k をログで見る → 5. failure 分類 → 6. chunking/metadata → 7. hybrid → 8. reranker より先に golden set → 9. rerank は aggregate で評価 → 10. citation は claim を保証しないと理解 → 11. logging/PII/rollback + 受入 gate → 12. drift / regression 監視
本編は 使える RAG の作り方 — 測って・直して・運用する へ。