RAG（Retrieval-Augmented Generation）は、社内文書やFAQを検索し、その内容をもとに生成AIが回答する仕組みです。社内ナレッジ検索や問い合わせ対応で活用が進む一方、「回答が本当に正しいのか判断しづらい」という課題もあります。
RAGは自然な文章を生成できても、回答内容が正確とは限りません。検索した文書が質問とずれていたり、生成AIが参照文書にない情報を補完したりすると、もっともらしい誤回答が発生する可能性があります。
そのため、RAG導入では「どの観点を、どの指標で評価するか」を事前に整理することが重要です。
本記事では、RAG評価が必要な理由や確認すべき3つの観点、代表的な評価手法を解説します。RAG運用で何を確認すべきか整理したい方は参考にしてください。
RAGとは？LLM単体との違いを簡単に解説
RAG（Retrieval-Augmented Generation）は、外部データを検索し、その内容をもとに生成AIが回答する仕組みです。LLM単体は学習済みデータをもとに回答しますが、RAGは社内文書や最新情報を参照できるため、社内FAQやマニュアル検索、問い合わせ対応などに活用されています。
例えば、人事部の就業規則や経費精算ルールが改訂された場合でも、更新済み文書を検索対象に含めれば、最新ルールをもとに回答を出力可能です。学習済み知識だけに依存しないため、社内規程や製品マニュアルなど、更新頻度が高い情報を扱う業務で導入が進んでいます。
RAGの精度評価が重要な理由
RAGは自然な文章で回答できる一方、回答内容が業務上正しいとは限りません。検索対象の文書が不足していたり、取得した情報の解釈がずれていたりすると、誤った回答でも自然な文章として出力される可能性があります。
特に実務では、以下の理由から精度評価が欠かせません。
- もっともらしい誤回答（ハルシネーション）が起こり得るため
- 検索精度と回答精度を分けて確認する必要があるため
- 本番運用では継続的な改善が必要になるため
例えば、社内規程に関する回答が誤っていた場合、従業員が古いルールをもとに申請したり、問い合わせ担当者が誤案内したりするリスクがあります。また、評価基準がないまま改善を進めると、検索設計を見直すべきなのか、プロンプトやモデルを調整すべきなのか判断しにくくなります。
そのため、PoC段階でも評価基準を用意しましょう。回答の正確さだけでなく、必要な文書を取得できているか、根拠に沿って回答できているかを確認することが重要です。
RAGの精度評価で確認すべき3つの観点
RAGでは、最終回答だけを見ても、どの工程に課題があるのか判断しづらいです。そのため、改善しやすくするには、「検索」「回答」「運用」の3つに分けて評価する必要があります。
ここからは、それぞれの観点で何を確認すべきかを解説します。
検索精度｜必要な文書を正しく取得できているか
検索精度とは、質問に対して「必要な文書を適切に取得できているか」を確認する観点です。
例えば、「有給申請の締切」を質問した際に、人事規程や申請フロー文書を取得できなければ、回答内容もずれやすくなります。入力データとして扱うのは社内規程、FAQ、マニュアル、議事録などです。
代表的な指標として、次に挙げる項目があります。
- Recall：必要文書をどれだけ取得できたか
- Precision：検索結果に不要文書が少ないか
- Hit Rate：必要文書が検索結果に含まれているか
例えば、社内規程を検索するRAGでRecallが低い場合、必要な文書そのものを取得できていない状態です。検索精度が低いままでは、生成AI側を調整しても回答品質は改善しにくくなります。
回答精度｜質問に対して正確かつ根拠ある回答になっているか
回答精度とは、生成された回答が「質問内容に対して正確であり、参照文書に沿っているか」を確認する観点です。
RAGでは、検索できていても回答生成時に内容が変化し、誤った説明になるケースがあります。特に注意したいのがハルシネーションです。存在しない情報を補完すると、現場担当者が誤った手順で作業するリスクがあります。
評価では、主に次の項目を確認します。
- Answer Relevancy：質問に適切に回答できているか
- Faithfulness：参照文書に忠実な回答か
- Groundedness：回答根拠が明確か
- ハルシネーション率：存在しない情報を生成していないか
特に社内利用では、「どの文書を根拠に回答したか」を確認できる状態にすることが重要です。引用元を表示できると、総務部や人事部などの担当者が「どの文書を根拠に回答しているか」を判断し、業務利用につなげやすくなります。
運用品質｜応答速度・コスト・安定性に問題がないか
本番運用では、回答精度だけでなく運用品質も重要です。
例えば、回答まで20秒以上かかる場合、現場担当者が利用しなくなるケースがあります。また、利用者増加に伴ってAPIコストが上昇すると、継続的に運用しにくくなります。
そのため、次のような運用品質も確認が必要です。
- 平均応答時間
- API利用コスト
- 同時アクセス時の安定性
- 障害発生時の復旧性
- 利用増加時のスケーラビリティ
特に問い合わせ対応や社内検索では、複数部門が同時利用するため、障害時の耐性やレスポンス安定性が業務影響につながります。
RAGの評価方法は大きく2種類に分けられる
RAGの評価方法は、大きく「自動評価」と「人手評価」の2種類に分けられます。
- 自動評価：大量の質問データを継続的に検証しやすい。モデル変更前後の比較や、継続モニタリングに向いている。
- 人手評価：「実際に業務で使えるか」を確認しやすく、回答の自然さや現場妥当性を確認する際に有効。
例えば、情報システム部門が自動評価によって回答精度や検索精度を数値で確認し、モデル変更前後の品質を比較する運用が考えられます。
そのうえで、総務部や人事部などの現場部門が、回答内容が社内規程に沿っているか、実際の問い合わせ対応で使いやすいかを人手で確認すると、品質を多面的に評価しやすくなります。
自動評価だけでは実際の使いやすさを判断しにくく、人手評価だけでは評価基準が属人的になりやすいため、実務では両者を併用すると運用が安定しやすいです。
また、自動評価を行う場合は、「質問」と「期待する正解回答」をセットで用意するケースが一般的です。社内FAQや問い合わせ履歴をもとに正解データを作成しておくと、モデル変更前後で回答品質を比較しやすくなります。
RAGの精度を評価する手法2選
RAGの評価手法は、評価の目的によって選び方が変わります。数値で品質を比較したい場合と、検索・回答生成のどこに課題があるかを特定したい場合では、適した手法が異なるためです。
ここでは、代表的な評価手法としてRAGASとRAGCheckerを取り上げます。
- RAGAS：数値比較・継続監視に有効
- RAGChecker：原因分析に有効
それぞれの手法について、特徴や主な評価指標を整理します。
RAGにおける精度の評価手法1：RAGAS
RAGASは、RAGの回答品質や検索品質を自動で数値評価しやすい代表的な手法です。
主な評価指標は次のとおりです。
| 指標 | 内容 |
|---|---|
| Faithfulness | 回答が参照文書に忠実か |
| Answer Relevancy | 質問に適切に回答しているか |
| Context Precision | 取得文書に無駄が少ないか |
| Context Recall | 必要な情報を十分に取得できているか |
RAGASは、質問・検索文書・回答結果を入力データとして扱い、自動採点できます。そのため、モデル変更前後やプロンプト改善前後で比較しやすい点が特徴です。
例えば、FAQを追加した後にContext Recallが上がっていれば、必要な情報を取得しやすくなったと判断できます。改善前後の数値を比較できるため、検索設計やデータ整備の効果を確認しやすくなります。
RAGにおける精度の評価手法2：RAGChecker
RAGCheckerは、検索から回答生成までを工程別に確認しやすい評価手法です。
評価の観点は次の3つに分かれます。
| 評価分類 | 内容 |
|---|---|
| Overall Metrics | 最終回答全体の品質を評価 |
| Retriever Metrics | 検索結果の性能を評価 |
| Generator Metrics | 回答生成の品質を評価 |
RAGCheckerの特徴は、「回答が悪い」という結果だけで終わらず、検索側と生成側のどちらに問題があるかを切り分けやすい点です。
例えば、次のように原因を整理できます。
- Overall Metricsが低い：業務要件や評価基準を見直す
- Retriever Metricsが低い：検索工程に課題があるため、検索方式やチャンク設計を確認
- Generator Metricsが低い：プロンプト・LLM設定を改善
PoC後の改善フェーズや、情報システム部門と現場部門が連携する運用で活用しやすい手法です。
RAGの精度を向上させる方法
RAGの精度改善では、やみくもにモデル変更するのではなく、評価結果を見ながら原因別に改善することが重要です。ここでは、RAGの精度を向上させる3つの方法を解説します。
登録データを見直す
もっとも着手しやすく、効果が出やすい改善方法が登録データの見直しです。
例えば、問い合わせ内容をFAQ形式に整理したり、古い資料を更新したりすると、検索対象の情報が明確になります。タイトルや更新日などのメタデータを整備すれば、検索対象も絞り込みやすくなります。
ただし、同じ内容の資料が複数残っている場合は注意が必要です。検索結果が分散し、生成AIがどの情報をもとに回答すべきか判断しづらくなるケースがあります。
元データの品質が悪い場合、検索と回答の両方に影響するため、まず確認したい工程です。
検索精度を改善する
必要文書が取得できていない場合は、検索設計の見直しが必要です。
具体的には、チャンクサイズや分割単位を調整し、質問に対して必要な情報を取得しやすい状態に整えます。文書を細かく分割しすぎると前後の文脈が失われやすく、逆に大きすぎると不要な情報まで検索結果に含まれやすくなります。
また、文書の種類や部署名、更新日などのメタデータを付与すると、検索対象を絞り込みやすくなります。検索方式やリランキングの見直しも、関連文書を上位に表示させるうえで有効です。
検索精度は回答品質に直結するため、RAG運用では優先度の高い改善施策といえます。
ツールやモデルを見直す
既存構成で改善に限界がある場合は、ツールやモデルの見直しも選択肢になります。
例えば、画像PDFやスキャン資料が多い場合は、OCR対応ツールを使うことで、図表内のテキストや紙資料の内容も検索対象に含めやすいです。なかでも製造業では、図面付きマニュアルや点検記録を扱うケースが多く、検索対象を広げることで回答精度の改善につながる場合があります。
ただし、高性能LLMやRetrieverへ変更すると、APIコストや運用負荷が増える可能性があります。精度だけで判断せず、費用対効果や既存システムとの連携しやすさも確認することが重要です。
ツールやモデルの見直しは、データ整備や検索設計を改善しても十分な効果が出ない場合に検討するとよいでしょう。
まとめ｜RAGの精度向上は適切な評価設計から始まる
- RAGは検索精度と回答精度を分けて評価することが重要
- RAGASは数値比較、RAGCheckerは原因分析に向いている
- 精度改善は登録データ整備から着手すると進めやすい
RAGは導入しただけでは成果につながりません。検索・回答・運用を分けて評価し、どこに課題があるか確認しながら改善を続ける必要があります。
また、評価設計を先に整えることで、改善方針や導入判断を進めやすくなります。
まずは社内でよくある質問を10件選び、現在のRAGが正しく・根拠付きで回答できるか確認するところから始めてください。
