企業RAG
ハルシネーションを起こさず、運用し続けられる企業RAG。
企業RAGのPoCが失敗するのは、検索の段階ではありません。三か月後です——参照元のドキュメントが移動し、インデックスの担当者が誰もおらず、回答は相変わらず流暢なまま、静かに間違っている。デモを動かすのは週末の作業です。二年後もそれを正しく保つことが本当のエンジニアリング課題であり、それはモデルの問題である前に保守の問題です。
5つの失敗モード
01
インデックスの陳腐化。情報源が変わっても、インデックスは変わらない。前四半期に差し替えられた文書を、システムは自信を持って引用します。
02
追跡できない回答。答えは正しくても、なぜ正しいかを誰も示せない。だからレビュー担当者は承認できず、監査担当者は受け取れません。
03
用語のずれ。同じ概念が部署ごとに三つの呼び名を持ち、検索がエビデンスを分断し、それぞれの回答が三分の一しか見ていない状態になります。
04
担当者の不在。PoC期にはエンジニアがいましたが、本番環境では「ナレッジベースを見る」ことが職務の人が誰もいない。品質はアラートなしに劣化します。
05
チャンク分割を一度しか調整していない。分割戦略はデモ用コーパスに合わせたまま、文書の種類が変わっても見直されていません。
エビデンスの連鎖と、それが必須である理由
エビデンスの連鎖とは、回答内のすべての主張が追跡可能な出典箇所に紐づけられ、紐づけられないものは滑らかに埋めるのではなく拒否される、という設計です。これはシステムに許される振る舞いを変えます——「検索された資料ではこの質問に答えられません」と言えるようになります。流暢であることを既定とするシステムは、決してそう言いません。
実装は地味です。各チャンクは出典URL、タイトル、日時、位置を保持します。検索は文書だけでなく該当箇所を返します。生成段階では主張ごとの引用を要求し、出力はユーザーに届く前に検索結果集合と照合されます。裏づけのない主張は削られ、削りすぎた場合は回答自体を差し止めます。
見返りは、レビューが可能になることです。ドメイン専門家は10件の回答を、10件の引用リストを確認することでチェックできます。数分の作業です。連鎖がなければ、1件の回答を検証するにはコーパス全体を読むことになり、つまり誰も検証せず、システムは雰囲気で信頼されます。
用語は検索品質の上流にある
検索品質の上限は、コーパスと質問が同じものを同じ言葉で指しているかどうかで決まります。実務ではそうなっていません。技術部門はある用語を、営業は別の用語を、規制当局は三つ目を使い、海外のバイヤーは四つ目の言語で検索します。埋め込みモデルはその一部を吸収しますが、ドメイン固有の残りは吸収できません。
解決策は、保守された用語集をシステムの一部として持つことです。文書としてではありません。正規語、許容される異表記、言語間の対応、廃止された旧称——これらをバージョン管理し、索引時と検索時の両方で適用します。RAGシステムの中で最も流行らない構成要素であり、そして一貫して、回答品質への測定可能な効果が最も大きい構成要素です。
「運用し続けられる」の実際のコスト
保守は予備費ではなく、常設の予算項目として計上してください。情報源は移動するため、一律の夜間ジョブではなく、変化の速さに紐づいたスケジュールで再クロールする必要があります。用語集には担当者とレビューの周期が要ります。回答品質にはサンプリングが要ります——期ごとに一定件数の本番回答をエビデンスの連鎖に照らして確認し、結果を用語集とチャンク戦略へ還元します。
この三つを欠いたシステムは正しさを保てません。静かに劣化します。それは大きな音を立てて壊れるより悪い結果です。問題を発見するのがダッシュボードではなく顧客になるからです。組織がこの保守を約束できないのであれば、誠実な提案は、腐っていく広いシステムではなく、より小さく変化の遅いコーパスに対する狭いシステムを構築することです。
正しい文書を取得できているのに、企業RAGがハルシネーションを起こすのはなぜですか?
「関連文書を検索できた」ことと「回答がその文書に根拠づけられている」ことは別だからです。エビデンスの連鎖を強制しなければ、モデルは検索された断片の隙間をもっともらしい文章で埋められてしまいます。解決は構造的なものであり、より良いプロンプトではありません——すべての主張に引用を義務づけ、引用を出せない回答は拒否させることです。
すでに止まっているPoCがある場合
当初は全員が感心し、その後いつのまにか誰も使わなくなったRAGのPoCは、診断可能です。そして診断結果はたいてい、上の5つの失敗モードのいずれかです。それが何をするもので、どこで信頼を失ったのかを教えてください。
