RAGの精度が上がらないとき、まず見直すべき3つの箇所

社内文書を参照して回答するRAG（検索拡張生成）構成は、導入のハードルが下がった一方で「思ったより精度が出ない」というご相談をよくいただきます。モデルを上位のものに差し替えても改善しない場合、原因はほぼ検索の前段にあります。

1. 文書の分割単位

最も影響が大きいのが分割（チャンク）の単位です。固定文字数で機械的に区切ると、表の途中や条項の途中で切れ、意味が失われた断片が検索対象になります。見出しや条項の単位で区切り、各断片にどの文書のどの章から来たのかを付与するだけで、体感の精度は大きく変わります。

2. 検索して当たっているかの確認

回答が誤っているとき、そもそも正しい文書が検索で取れていないのか、取れているのに回答生成で誤っているのかを切り分ける必要があります。この切り分けをせずにプロンプトを調整し続けるのは、効果の薄い作業になりがちです。

実務では、代表的な質問を30件ほど用意し、期待する文書が検索結果の上位に入っているかを一覧で確認できるようにしておくと、改善の効果が判断できるようになります。

3. 元の文書そのもの

見落とされやすいのが、参照している文書自体の問題です。古い規程と新しい規程が両方残っている、同じ内容が複数の文書に少しずつ違う表現で書かれている、といった状態では、どれを取っても回答は安定しません。

この場合に必要なのは技術的な改善ではなく、文書の整理です。地味な作業ですが、効果は最も確実に現れます。

モデルの差し替えは最後に検討する

上記3点を見直したうえでなお精度が足りない場合に、はじめてモデルや検索方式の変更を検討する順序をおすすめします。前段が整っていない状態でモデルを変えても、改善したかどうかの判断すらできません。