AIの回答精度を上げる方法｜ハルシネーションを減らすナレッジ設計

AIの回答精度を上げたいとき、モデルを変えたり、プロンプトに「正確に答えて」と書き足したりするだけでは不十分です。回答に使ってよい情報、答えてはいけない範囲、分からないときの対応を先に決めることが、改善の出発点になります。

生成AIは、もっともらしい文章を作れても、その内容が自社の最新情報と一致しているとは限りません。ナレッジに古い料金表が残っている、同じサービスに複数の呼び方がある、例外条件が別の資料に埋もれているといった状態では、回答の揺れが起きます。情報が見つからないときに、AIが推測して答える設定になっていれば、利用者に誤った案内をする可能性もあります。

この記事では、AIの回答精度を上げる方法を、情報を整える工程、回答ルールを決める工程、公開前に試す工程、公開後に直す工程に分けて説明します。特定のAIの精度や効果を保証する記事ではありません。自社の質問ログと確認できる情報を使い、誤回答を見つけて改善するための考え方としてご利用ください。

AIの回答精度を上げる前に知っておきたいこと

「精度」という言葉を一つの数値で扱うと、改善すべき箇所が分かりにくくなります。業務で確認したいのは、少なくとも次の四つです。

• 事実性：回答が、現在有効な自社情報と一致しているか
• 適合性：質問の意図に答え、関係のない情報を混ぜていないか
• 安全性：契約、返金、医療、法務など、AIだけで判断させない範囲を守っているか
• 案内性：答えられない場合に、利用者が次に取る行動や問い合わせ先を確認できるか

たとえば、営業時間を正しく答えていても、臨時休業日を案内できなければ実務上は不十分です。反対に、情報が見つからないときに「担当者へ確認してください」と適切に保留できれば、直接の回答がなくても安全な応答になります。まず自社にとっての合格条件を決め、その条件に沿って回答を確認してください。

AIの回答が不正確になる三つの原因

原因1：参照する情報が古い、重複している

AIが参照する資料に、終了したキャンペーンや旧料金、現在は使っていないサービス名が残っていると、回答の候補に古い情報が含まれます。最新版が登録されていても、旧版を削除せずに並べていると、どちらを使うべきかの判断材料が不足します。

情報を登録する前に、公開してよい内容、社内確認だけに使う内容、回答に使用しない内容を分けます。料金、営業時間、予約条件、キャンセル条件のように変更が起きやすい項目には、適用開始日と更新担当者を付けてください。日付がない資料は、最新版かどうかを判断できるまで登録を保留します。

原因2：答えてよい範囲と保留条件が決まっていない

「できるだけ親切に答える」という指示だけでは、AIが回答してよい範囲を判断できません。個別の契約条件、返金の可否、医療や法務に関わる判断などは、公開情報を説明することと、個別の結論を出すことを分ける必要があります。

回答できる情報がない場合は、推測せずに保留する条件を決めます。有効日を確認できない、資料間で条件が矛盾する、契約や予約の特定に必要な情報が不足する場合は回答を止めます。保留時に、担当部署、受付時間、問い合わせ方法、返答の目安を案内できれば、利用者を行き止まりにせずに済みます。AIの回答範囲を広げる前に、追加質問をする条件と回答を止める条件を明文化してください。

原因3：確認方法がなく、誤回答が残り続ける

公開前に数問だけ試して問題がなければ終了、という運用では、実際の質問の揺れや資料の更新に対応できません。利用できる問い合わせ記録や検証記録から、回答できなかった質問、誤った案内、条件の聞き直し、有人対応へ切り替えた質問、案内先の不備を拾い、ナレッジと回答ルールへ戻す必要があります。利用できる記録の種類、閲覧権限、保存期間は製品や契約条件によって異なるため、最新の公式情報、管理画面、契約資料で確認します。

回答を確認するときは、正解したかだけでなく、どの情報を根拠にしたか、質問の条件を取り違えていないか、次の案内先が適切かも記録します。誤回答を見つけた人が、どこを直せばよいか分かる記録にすることが重要です。

精度改善の最初の手順：質問を三つに分類する

いきなり全質問に答えさせるのではなく、現在届いている質問を分類します。分類の目的は、AIに任せる範囲を狭く始め、確認できる状態を作ることです。

分類が難しい質問は、無理に定型回答へ入れません。担当者によって判断が分かれる質問は、試験運用の対象から外し、必要な確認項目を整理してから扱います。最初の対象を営業時間外の予約前質問のように限定すれば、参照情報と案内先を決めやすくなります。

質問の分類表には、質問文だけでなく、回答に使った資料、回答できなかった理由、次に案内した場所も記録します。後から回答を見直すときに、文章だけを直すのか、ナレッジを更新するのか、対象範囲を狭めるのかを判断しやすくなります。

ナレッジを整理してAIが参照しやすい状態にする

ナレッジは、資料をたくさん登録すればよいわけではありません。質問に対する答えと条件が、別々の資料へ分散しないように整理します。次の単位で見直すと、回答の根拠を追いやすくなります。

• 一つの質問に一つの答え：「料金」「予約」「キャンセル」を同じ長文に詰め込まず、質問の単位で分ける
• 条件と例外を同じ場所に置く：通常の条件だけでなく、対象外、受付時間、必要書類も続けて記載する
• 用語を統一する：正式名称、略称、旧称を整理し、回答に使う表記を決める
• 適用時期を明記する：変更日、終了日、確認日を付け、古い情報を見分けられるようにする
• 出典と責任者を残す：どの社内資料を根拠にしたか、誰が更新を承認したかを記録する

PDFや画像から情報を取り込む場合は、文字を読み取れたことと、内容が正しいことを分けて確認します。数字、料金、日付、固有名詞は誤読が起きると案内に直結するため、登録後に原本と照合してください。OCRを利用する場合も、読み取り結果をそのまま公開用の根拠にせず、担当者が確認する手順を置きます。詳しい整理方法はナレッジ登録のガイドで確認できます。

情報の更新では、古い文章へ新しい文章を追記するだけにしないことが大切です。旧条件が残ったままだと、AIが二つの条件を混ぜる可能性があります。変更した項目、変更日、確認者、旧情報を削除または使用停止にしたかを記録し、更新後に代表的な質問をもう一度試します。

回答ルールを設計する：根拠・不明時・引き継ぎ

回答ルールは、抽象的な「丁寧に答える」よりも、状況ごとの動作を決める方が確認しやすくなります。少なくとも次の四点を文章にしてください。

1. 参照範囲：登録された自社情報を優先し、根拠が見つからない情報は補わない
2. 不明時の応答：分からない場合は不明であることを伝え、推測で結論を出さない
3. 条件の確認：料金や予約条件が複数ある場合は、対象となる条件を質問してから答える
4. 引き継ぎ：AIだけで判断できない場合は、担当者、受付時間、問い合わせ方法を案内する

回答の形式も必要に応じて定めます。最初に結論を短く示し、条件や注意点を続けるのか、参照した情報の更新日を示すのか、問い合わせ先を最後に置くのかを決めます。形式を固定しすぎると質問に合わないこともあるため、定型質問と相談質問で分けてください。

より細かい条件分岐を設定できる場合は、SocratesのDeep Logic Promptの設定ガイドを参照し、実際の管理画面で利用できる範囲を確認してください。記事や資料に記載のない仕様を前提にせず、契約中のプランや現在の設定と照合してから運用へ組み込みます。

引き継ぎの設計では、AIが回答をやめる条件だけでなく、担当者が何を受け取るかも決めます。質問内容、確認済みの条件、希望する連絡方法など、対応に必要な項目だけを共有し、不要な個人情報を集めないようにします。引き継ぎ条件と会話の渡し方は有人対応へ引き継ぐ方法で整理できます。

公開前に回答精度を確認するテスト方法

テストでは、正解を答えられる質問だけを用意しません。実際の利用者が入力しそうな表現、情報が不足した質問、回答禁止領域に近い質問を混ぜます。質問ごとに次の項目を記録すると、修正箇所が明確になります。

• 質問文と、想定している検索意図
• 参照してほしいナレッジの項目
• 許容する回答と、含めてはいけない内容
• 回答後に案内するページや窓口
• 回答結果、修正の要否、修正担当者

評価は「正答」「適切に保留」「誤答」「案内先が不適切」の区分で行います。各テストケースには、事実性、適合性、安全性、案内性の四項目を「適合・不適合・対象外」で記録し、最後に合否区分を付けます。回答が正しそうに見えても、根拠のない数字や、質問に含まれていない条件を追加していれば誤答です。反対に、情報が不足している質問に対して必要な条件を確認したり、回答せずに担当者を案内したりできた場合は、直接の回答がなくても「適切に保留」と記録できます。

テスト後は、誤答ごとに原因を分けます。ナレッジがないのか、古い情報が残っているのか、用語の定義が不足しているのか、回答ルールが広すぎるのか、案内先の設計がないのかで、修正方法が変わります。原因を分けずにプロンプトを追加し続けると、別の質問への回答を不自然に制限することがあります。

料金、予約、契約、営業時間など変更の影響が大きい項目は、内容を更新するたびに代表質問を再テストします。テスト結果は、公開日、ナレッジの更新日、担当者と合わせて保存してください。後から回答が変わったときに、どの変更が影響したかを追跡できます。

公開後に精度を維持する運用サイクル

AIの回答精度は、公開時点で固定されません。サービス内容や社内ルールが変われば、ナレッジも回答の案内先も変わります。運用担当者を決め、確認の周期と修正の流れを先に決めておきます。

レビューでは、正答した件数だけを確認するのではなく、未回答、誤回答、条件の聞き直し、案内先の不備などを原因別に整理します。ただし、確認に使える記録の種類、閲覧権限、保存期間、個人情報の取り扱いは製品の仕様や契約条件によって異なります。利用できる記録機能と権限を最新の公式情報、管理画面、契約資料で確認したうえで、自社の規程に沿って確認対象と担当者を決めます。

誤回答が見つかった場合は、同じ参照情報を使う質問、対象ページ、案内先を確認して影響範囲を特定します。影響範囲を確定できない場合は、該当する対象業務を一時的に狭めます。対応記録には、発見日、対象業務、影響範囲、変更内容、更新者、確認者、テスト結果を残し、問題発生から再開判断までの変更履歴を追跡できるようにします。

Socratesで確認しておきたい精度改善の範囲

SocratesをAI接客に利用する場合も、最初から全業務を自動化する前提にしません。対象ページ、回答する質問、参照する情報、有人へ引き継ぐ条件を決め、実際の運用で確認できる範囲から始めます。設定できる機能、連携先、保存方法は時期やプランによって異なる可能性があるため、最新の公式情報と管理画面で確認してください。

ナレッジ登録では、公開回答に使ってよい情報と、それ以外の情報を切り分けます。PDFや画像をOCRなどで文字情報に変換した場合は、数字、日付、固有名詞、条件文を原本と照合してから回答根拠にします。これはSocrates固有のOCR機能が利用できることを前提とした手順ではありません。回答ルールでは、根拠がない場合の保留、条件不足時の追加質問、有人対応への切り替え、案内先を定めます。公開後は、利用可能な運用記録を確認し、未回答や誤回答の原因がナレッジと回答ルールのどちらにあるかを切り分けます。

導入の進め方や設定前の確認項目は、AIチャットボットの導入準備ガイドも参照してください。必要な情報がそろっていない場合は、対象業務を狭めて試験運用し、確認できる質問から改善を始めます。

よくある質問