社内マニュアルが複数の場所に分かれていて、同じ問い合わせがあるたびに資料を探している方は多いのではないでしょうか。こうした状況では、どの文書をAIに参照させればよいか迷うケースは少なくありません。
資料が古かったり、部署ごとに閲覧できる範囲が違ったりすると、単に文書を登録するだけでは、業務で使える回答を得にくくなります。社内文書から質問に関係する情報を探し、AIの回答に活かす仕組みがRAG(検索拡張生成)です。
この記事では、RAGに必要な構成要素や構築の5ステップ、企業で継続して使うための準備を解説します。
RAGとは、外部の情報を検索してAIの回答に活かす仕組みのこと

RAGは「検索拡張生成」と呼ばれます。利用者から質問を受けたときに、関連する情報を外部のデータから検索し、その情報をLLMに渡して回答を作る仕組みです。LLMは、文章を理解して回答文を生成する大規模言語モデルを指します。
例えば、社員が社内規程について質問した場合は、次の順に処理します。
- 質問を受け付ける
- 該当する規程を探す
- 検索結果と質問をLLMへ渡す
- 回答を表示する
この流れによって、LLMが学習時に知らなかった社内規程も、回答時に参照させられます。
RAGの仕組みは、社内FAQやマニュアルを探し、担当者が回答をまとめる作業の支援に使えます。ただし、RAGを組み込んでも誤回答がなくなるわけではありません。担当者は検索された資料と回答を見比べ、根拠に沿った内容か確認する必要があります。
RAGの構成を図で確認したい場合は、こちらの記事も参考にしてください。

RAGを構築する上で用意したいデータとシステムの構成要素
RAGの構築に必要な主な要素は、参照データ、検索基盤、LLMの3つです。役割を分けて考えると、自社で用意するものと開発担当者に相談するものを整理しやすくなります。
| 構成要素 | 役割 | 具体例 |
|---|---|---|
| 参照データ | 回答の根拠として使う情報 | 社内規程、FAQ、業務マニュアル |
| 検索基盤 | 質問に関連する文書の該当部分を取り出す | 文書を登録した検索用の索引やデータベース |
| LLM | 取得した情報と質問をもとに回答文を作る | 大規模言語モデル |
各要素を用意するだけでなく、質問に応じて検索し、取得した情報をLLMへ渡す処理をつなぐ必要があります。社内向けのチャットとして使う場合、質問を入力し、回答と根拠を確認できる画面も必要です。
RAGを構築する基本の手順を5ステップで解説

社内文書を使ったRAGは、対象業務と質問を絞るところから構築を始めます。
ここでは、RAGを構築する流れを5つのステップに分けて解説します。
RAGの構築手順その1:利用目的と回答させる質問を決める
まずは、社内FAQや特定部門のマニュアル検索など、対象を絞って試します。利用目的を決める際は、次の3点を整理しましょう。
- 利用者:誰が使うか
- 質問:どの質問に答えたいか
- 資料:どの文書を参照させるか
実際に寄せられる質問と、その答えが載った資料を対応づけます。文書の件数が多くても、必要な答えが含まれていなければ質問には答えられません。
初めてRAGを構築する際は、資料を参照して答えられる質問に絞ると、試行の範囲を明確にできます。
RAGの構築手順その2:参照する文書を集めて内容・形式を整える
対象業務の規程、FAQ、マニュアルを集めたら、次の点を確認します。
- 古い版や重複、内容の矛盾がないか
- どの資料を正式な情報源として扱うか
- 目的に関係のない資料が混ざっていないか
改定前の規程が残ると、古い記述を根拠に回答するおそれがあります。
参照する資料の形式を確認し、検索に使う文章を取り出せる状態にします。
最後に文字化けや表記の揺れを整え、検索に使える状態にします。
RAGの構築手順その3:文書を分割・ベクトル化し、検索用に登録する
長い文書は、見出しや段落など、意味がつながる単位に分けます。この処理を「チャンク分割」と呼びます。
見出しや段落を無視して分けると、回答に必要な文脈が失われる場合があります。分割後は、実際の質問で必要な箇所が見つかるかを確かめましょう。
分割した文章は、文章を数値の並びに変える「埋め込みモデル」を使ってベクトル化します。これにより、語句が一致しなくても意味の近さを手がかりに探せるようになります。
最後に、分割した文章と対応するベクトルを紐づけ、検索用の索引を作りましょう。文書のタイトルやカテゴリなどの付加情報も、検索対象の整理に役立ちます。
RAGの構築手順その4:関連情報の検索とLLMの回答生成をつなぐ
文書を登録したら、質問に合う箇所を探して回答に使います。例えば「出張精算の期限は?」といった質問であれば、経費規程の該当箇所を探します。
探し方は主に3つです。
- キーワード検索:質問に含まれる語句で探す
- ベクトル検索:言い回しが違っても意味が近い文章を探す
- ハイブリッド検索:2つの方法を組み合わせる
実際の質問で必要な資料が見つかるかを確かめ、検索方法を選びましょう。
検索で見つかった資料の該当箇所を、質問と一緒に回答を作るLLMへ渡します。
AIには「資料に書かれた内容を根拠に答え、資料に答えがなければ分からないと伝える」と指示します。これらをまとめてAIに渡す文章が「プロンプト」です。
回答には参照した資料名と原文へのリンクを示し、利用者が根拠を確かめられるようにします。
RAGの構築手順その5:小規模に検証し、検索結果と回答を改善する
文書内の情報検索とLLMの回答生成がつながったら、対象業務で実際に寄せられる質問を集め、答えが載っている資料と組にして試します。資料に答えがない質問も加え、AIが根拠のない答えを作らず、情報不足を伝えられるかを確認しましょう。
検索結果と回答を分けて確認する
検証では、検索結果と回答を分けて、次の3点を確認します。
- 検索結果:答えの根拠になる資料の該当箇所が見つかったか
- 回答の根拠:見つかった資料に書かれた内容に沿っているか
- 質問への対応:利用者が知りたい内容に答えているか
担当者が検索された箇所と回答を見比べ、資料に沿って答えているかを記録します。
問題の原因に合わせて改善する
検索と回答のどちらで問題が起きたかによって、見直す対象を変えます。
- 資料が見つからない場合:元の資料に答えがあるか、文書の分け方や検索方法が適切かを確認する
- 資料は見つかるが回答が違う場合:LLMへ渡す情報や指示文を見直す
最後に、利用者が根拠を確認しやすいか、問い合わせ対応に使えるかも試しましょう。改善を重ねながら、対象業務を少しずつ広げます。
企業でRAGを活用するために事前に準備したい3つのこと

ここでは、企業でRAGを活用する際に準備しておくべき3つのことを解説します。
利用者の権限に合わせて情報を保護する
全員がすべての文書を検索できる設計では、閲覧権限のない情報が回答に含まれるおそれがあります。部署や役職などに応じて取得できる資料を制御し、既存文書の閲覧ルールと検索・回答の仕組みを対応づけることが欠かせません。
また、クラウドサービスを使う場合は、どのデータが外部へ送られるかを確認します。通信の暗号化や操作ログの管理も含め、通常の業務システムと同様に情報保護の検討が必要です。
社内文書を使うRAGであっても、情報が自動的に保護されるわけではありません。
資料の更新を検索対象へ反映する
規程やマニュアルを改定しても、検索対象に旧版が残れば古いルールに基づく回答につながります。初回に文書を整える作業とは別に、新しい資料の追加、改定内容の差し替え、不要な資料の削除を誰がいつおこなうかを決めましょう。
資料を更新したときは、必要に応じて埋め込みや検索用の索引も更新します。利用者の質問や業務内容が変わることも踏まえ、運用後の回答を確認し、改善を続けます。
改善を担う担当者と利用者への案内を用意する
構築後も、資料の追加、指示文の調整、検索と回答の確認が必要です。社内の運用担当を定め、判断が難しい部分は開発担当者や外部の専門家と進める体制を考えます。
RAGの利用者には、AIの回答に誤りがあり得ることと、業務で使う前に根拠資料を確認する使い方を伝えます。また、利用者から使いにくさや回答への意見を集め、画面や回答品質の改善に生かしましょう。
開発担当者や専門家へ相談する際は、対象業務・資料・閲覧ルールを整理したうえで、文書の加工方法、検索と生成の連携、評価の進め方を確認するとよいでしょう。
まとめ|RAG構築は対象業務と資料を絞って始めよう
- RAGは、参照データ・検索基盤・LLMを連携させ、質問に応じて資料を取得して回答へ渡す仕組み
- 対象業務と資料を絞り、文書整備から検索・回答の検証まで段階的に進めることが重要
- 閲覧権限、資料更新、改善担当を決め、運用後も根拠と回答の確認が欠かせない
RAGでは、質問に必要な情報を探せるかと、その情報に沿った回答になるかを分けて確かめることが大切です。資料の更新と回答の確認を続けながら、対象を段階的に広げます。
まずはRAGに答えさせたい社内の質問を1つ選び、答えが載っている規程やマニュアルを確認するところから始めるとよいでしょう。


