ZeroZawa

「ChatGPT に社内文書を参照させたい」から RAG を自作する人へ。embedding・chunking・reranker・RAGAs 指標・PII redaction を、定義の暗記ではなく「どの工程で牙を剥くか」の地図として先に渡す。実測ベースの連載「今更聞けない RAG の作り方、評価の仕方」全 5 部への入口。完全ローカルで試せるが「無料 ≠ 高速」も最初に押さえる。

Part 1-3 で打った手 (naive / hybrid / rerank+citations) は感覚的には効いた。本記事 (Part 4) では RAGAs の 4 指標 (Faithfulness / Answer Relevance / Context Precision / Context Recall) で 30 件の golden set を Ollama (qwen3:8b judge) で回し、各 Part の改善を数値で再確認する。測定して初めて分かった「英語 reranker が日本語で aggregate を下げる」失敗と、gen=judge 同型バイアスの読み方も実機で議論する。シリーズ「今更聞けない RAG の作り方、評価の仕方」第 4 回

Part 4 で組んだ offline 評価は「変更前後で回帰がないか」を見るためのもの。本記事 (Part 5、シリーズ完結) では online 運用で必須になる Logging Safety (PII redaction を含む)、embedding drift 検出、コスト構造分解、インシデント対応とロールバックを扱う。「個人情報を含むコーパスで default のままログを取ると重大インシデント」を構造的に避ける設計を companion repo の実装と並べて示す。シリーズ「今更聞けない RAG の作り方、評価の仕方」完結編

Part 2 の hybrid+filter で旧版は落ちたが、意味的に近い trap と引用喪失が残る。本記事 (Part 3) では cross-encoder reranker で top-20 → top-3 まで絞って semantic trap を圏外へ落とし、Anthropic Citations API で doc_id 付きの grounding を設計する。trap の rank が 2 位から 9 位へ動く様子を実測で観察し、検証は Part 4 へ送る。シリーズ「今更聞けない RAG の作り方、評価の仕方」第 3 回

素朴な RAG の retrieval を、metadata 保持型 chunking と BM25+dense hybrid search で立て直す。版違い文書と同義語 miss を観察し、status filter で旧版 (archived) を top-5 から追い出す効果を実測で確認する。シリーズ「今更聞けない RAG の作り方、評価の仕方」第 2 回