AIの回答率を改善する方法｜会話を1件ずつ見ずに原因を特定する4つの切り分け

AIの回答率を70%前後まで作り込んだものの、そこから先が伸びずに悩んでいませんか。

「社内のエンジニアに相談しても、1件ずつ会話を見ていくしかないと言われた」

「どこで顧客が離脱しているのか分からない」

という声をよく聞きます。

こうした悩みは、ECサイトのカスタマーサポート担当者に共通するものです。

実はこの状態を抜け出すには、闇雲に改善するのではなく、まず3つの指標、回答率・正答率・自己解決率の違いを正しく理解することが出発点になります。

本記事では、これらの指標の違いと、回答率が上がらない4つの原因を解説します。

さらに、どこで問い合わせが落ちているかを特定する手順と、改善を仕組み化して回し続ける方法までを順に紹介します。

AI回答率の改善に取り組みたい方は、ぜひ本記事の内容をお役立てください。

回答率・正答率・自己解決率の違い

AI回答率の改善には、まず「回答率」「正答率」「自己解決率」という3つの指標を区別することが欠かせません。

これらは似た言葉ですが、計算の分母がそれぞれ異なります。分母を取り違えたまま改善を進めると、数値は上がっても顧客満足度が下がるという事態を招きかねません。

この章では、3つの指標の定義と、同じ「70%」でも意味合いが大きく変わる理由を解説します。

回答率とは？正答率との違い

回答率とは、AIが何らかの回答を返せた割合のことです。分母は、すべての問い合わせ件数になります。

これに対し正答率は、AIが返した回答のうち、内容が正しかった割合を指します。分母は回答できた件数のみに限られるため、回答率とは母数がそもそも違います。

たとえば回答率が90%でも、返した回答の半分が誤っていれば正答率は50%です。

全問い合わせのうち正しく答えられたのは45%にすぎません。

このように、回答率と正答率は同時に見なければ意味を取り違えてしまうのです。

なぜ同じ70%でも意味が違うのか？

同じ70%という数字でも、どの指標の70%かによって意味がまったく異なるからです。

回答率70%は、単に「70%の質問に何かしら答えられている」状態を示すにすぎません。一方で自己解決率70%は、7割の顧客が有人対応を介さず解決できている状態を意味します。こちらの方が、顧客にとってはるかに価値の高い数字です。

回答率だけを追いかけていると、「とりあえず何か返すAI」になりがちです。結果として、正答率や顧客満足度がかえって下がる恐れがあります。

実際に、ラクスが2025年に行った調査では、チャットボットやFAQページなどの自己解決チャネルで最終的に解決できた割合は約7割にとどまっています。

回答率は高くても、自己解決率は思うように伸びないケースは珍しくありません。

だからこそ、どの指標を優先して追うかを、最初に決めておく必要があります。

参考：【約7割が解決できずに有人対応に移行した経験あり】チャットボットやFAQページに期待される“問い合わせ削減”に潜む落とし穴と改善策 - ラクス

AIの回答率が上がらない4つの原因

AI回答率が伸び悩む原因は、大きく4つに分類できます。ドキュメントの有無、構造、言い回し、そして解決できているかどうかです。

どれか1つを直しても、他の原因が残っていれば回答率は頭打ちのままになります。

この章では、4つの原因をそれぞれ具体的に解説します。

そもそもドキュメントが存在しないケースとは？

書かれていない情報は、AIも答えられません。これが最も基本的かつ見落とされがちな原因です。

顧客からよく聞かれる質問であっても、社内のドキュメントに情報自体が存在しなければ、AIはゼロから回答を作り出すことはできません。

未回答ログを見たときに「同じ質問が繰り返し出ている」場合は、まずこの原因を疑うべきです。

なぜドキュメントの構造が悪いと回答できないのか？

1ページに複数のトピックが詰まっていると、AIがどこを参照すべきか判断できなくなるからです。

たとえば、1つのドキュメントに複数の設定手順や注意事項が混在していると、AIは関連性の高い箇所を正確に抜き出せません。表や画像の中だけに情報がある場合は、本文にも同じ内容をテキストで書いておくと、AIが参照しやすくなります。

タイトルと中身がずれているドキュメントも、同じ理由で参照されにくくなります。

質問の言い回しが想定と違う

顧客は、ドキュメントに書かれた正式名称とは違う言葉で質問してくることがほとんどです。

略語や表記ゆれ、製品名の通称などがその典型例です。

ドキュメント側に同義語や言い換えの情報が登録されていないと、内容は合っているのにキーワードが一致せず、回答できないという事態が起こります。

なぜ回答できても解決しないのか？

正答率は高いのに、自己解決率が上がらないケースがあるためです。

これは、AIが正しい情報を返しているにもかかわらず、顧客がその回答だけでは行動に移せていない状態を指します。

情報の正確さと、顧客が実際に問題を解決できるかどうかは、必ずしも一致しません。

この原因は見落とされやすいため、正答率だけで満足せず、自己解決率も必ず併せて確認する必要があります。

どこで回答が落ちているかを特定する方法

原因を4つに分類できても、自社のどの問い合わせがどの原因に当てはまるかが分からなければ、改善には着手できません。

まずは、未回答のまま終わった問い合わせと、有人対応に引き継がれた問い合わせを一覧にするところから始めます。

この章では、未回答ログの分類方法から、優先順位の付け方までを具体的に解説します。

未回答ログを内容で分類する手順

未回答ログは、内容ごとに分類することで初めて改善の材料になります。1件ずつ眺めるだけでは、どこに共通の課題があるのか見えてきません。

具体的には、以下の手順で進めます。

1. 未回答となった問い合わせを一覧で抽出する

2. 問い合わせの内容ごとにグループ分けする

3. グループごとの件数を数える

この作業により、「送料に関する質問が多いのに回答できていない」といった傾向が見えてきます。

有人対応への引き継ぎ理由を分類する

未回答ログだけでなく、有人対応に引き継がれた会話も分類の対象です。AIが一応の回答はしたものの、顧客が納得せず有人対応に切り替わったケースが含まれるためです。

引き継ぎの直前のやり取りを確認すると、「回答はしているが解決していない」原因が具体的に見えてきます。

たとえば、正しい情報を返していても、説明が専門的すぎて顧客が理解できていないといったケースです。

なぜ発生頻度×未解決で優先順位をつけるのか？

発生頻度が高く、かつ未解決のまま終わっている問い合わせから直すことが、最も効率よく回答率を改善できるからです。

すべての未回答・引き継ぎパターンを一度に直そうとすると、作業が終わらなくなります。発生頻度の高い上位2割に着手するだけで、改善効果の大半が得られることが、現場ではよくあります。

問い合わせの内容をタグで分類し、タグごとの発生件数を集計すれば、「発生頻度×未解決」の掛け合わせで並べ替えられます。

直すべきドキュメントの決め方

優先順位をつけた問い合わせは、4つの対応方針のいずれかに振り分けます。振り分けた結果は、AIが回答の根拠にしているドキュメントやFAQに反映します。ドキュメントの作成・修正がそのままAIの回答品質に直結します。

この章では、4つの対応方針をどう使い分けるかを解説します。

なぜドキュメントの新規作成が必要なのか？

情報自体が存在しない問い合わせには、新しくドキュメントを作るしかないからです。

未回答ログの分類で「情報が存在しない」と判断された問い合わせは、AIが読み込むためのドキュメントを新しく作成します。

登録したドキュメントはAIの参照対象になり、次回以降は回答できるようになります。

既存ドキュメントを分割・再構成する

1つのドキュメントに複数のトピックが混在している場合は、ドキュメントを分割・再構成します。

タイトルと中身がずれているドキュメントも同様に、構成を見直す対象です。トピックごとにドキュメントを分けることで、AIが参照すべき箇所を正確に絞り込めるようになります。

表記ゆれを追加する

内容は合っているのに言葉が一致しない問い合わせには、同義語や言い換えの登録で対応します。

略語や製品の通称を同義語として事前に登録しておくことで、顧客がどのような言葉で質問しても、同じ内容として認識されやすくなります。

そもそもAIに任せるべきではないケースとは？

契約内容の個別確認など、顧客ごとに回答が変わる問い合わせは、AIに任せるべきではありません。

このような問い合わせを無理にAIに対応させようとすると、誤った案内をしてしまうリスクが高まります。該当する問い合わせは、ドキュメントを整備するのではなく、最初から有人対応へつなぐ設計にしておくことが安全です。

改善を仕組み化する運用体制のつくり方

ここまでの手順を一度実行しただけでは、回答率は再び頭打ちになります。改善は、継続的に回す仕組みがあって初めて効果を維持できます。

この章では、改善サイクルの回し方と、目標値の置き方を解説します。

改善を週次・月次で回す体制のつくり方

改善サイクルは、誰が・どの頻度で・何分かけて回すかを決めておくことが欠かせません。担当が決まっていない改善サイクルは、ほぼ必ず途中で止まります。

具体的には、週次で未回答ログを確認し、月次で回答率・正答率・自己解決率の推移を確認する運用がおすすめです。

週次の作業を軽くしておくことで、担当者の負担を抑えながら継続しやすくなります。

目標値はどう置けばいいのか？

目標値は、他社の数値ではなく自社の過去実績を基準に置くべきです。

問い合わせの内容や難易度は企業ごとに異なるため、他社の回答率や正答率をそのまま自社の目標にしても、意味のある比較にはなりません。

自社の先月・前四半期の数値と比べることで、改善が進んでいるかどうかを正しく判断できます。

AI回答率の改善に使えるチャネルトークの機能

顧客理解のためのAIエージェント「チャネルトーク」には、ここまでの手順を画面上で進めるための機能がそろっています。

会話を1件ずつ開かなくても、どこで回答が落ちているかを把握し、直すべきドキュメントまでたどれます。

本記事の手順に対応する機能は、次の5つです。

切り分けから反映までを1つの画面で完結できるため、週次・月次のサイクルを回す負担も抑えられます。

週次・月次の定例作業を自動化するAI CoS

改善サイクルが止まる最大の理由は、未回答ログの抽出や件数の集計といった定例作業が、担当者の手作業に依存していることです。

チャネルトークのAI CoS（Chief of Staff）は、こうした作業を予約して自動で実行できます。

たとえば「平日の9時に、前日に対応が完了しなかった問い合わせを教えて」「毎週金曜日の16時に、週間の問い合わせレポートを作成して」と依頼しておくと、指定した時刻に結果が届きます。

担当者は届いた結果を見て、直す優先順位を決めるだけで済みます。

また、ALFがどのドキュメントやルールを参照して回答したかをAI CoSに質問して確認でき、会話を1件ずつ開いて原因を探す時間を短縮できます。

顧客データを売上に結びつけるAI参謀 CoS - チャネルトーク

データ分析、VoCの把握、マーケティングの実行まで、AI CoSが解決します。

Channel.io

改善を回し続けた2つの事例

ALFを導入し、改善を回し続けた企業では、解決率や正答率が短期間で大きく伸びています。

上の図は採用管理システムを提供するHERPの推移です。全問い合わせのうちALFが対応する割合を示す関与率も、40%から88%まで広がっています。

HERPでは、未解決の問い合わせを洗い出して分類・集計し、毎月どこを強化すべきかを数字で追う運用を重ねてきました。

その積み重ねによって、ALFの解決率（ALFが対応した問い合わせのうち、回答できた割合）は60%から82%まで高まったと報告されています。対応範囲を広げると解決率は下がりやすいものですが、ドキュメントを充実させることで両方を伸ばしています。

また、PAUL & JOEの公式オンラインストアがALFを導入した事例では、導入初期の正答率は24%でした。そこからドキュメントとFAQのチューニングを重ね、約3週間で96%まで改善しています。

この2つの事例が示すのは、一度の改善で満足せず、短いサイクルで回し続けることの効果です。

よくある質問

AIの回答率を改善しようとすると、指標の見方や目標の決め方で判断に迷う場面が出てきます。「回答率と正答率のどちらを先に追うべきか」「なぜ70%前後で伸びが止まるのか」「目標値は何を基準に置くのか」は、現場で特によく聞かれる疑問です。

いずれも、分母の違いと原因の切り分けを押さえていれば、迷わず判断できるものです。この章では、本記事で解説してきた内容をもとに、こうした3つの質問に短く答えます。

Q. 回答率と正答率は、どちらを先に見るべき？

まず正答率と自己解決率を確認し、そのうえで回答率を伸ばす順番がおすすめです。

回答率が高くても、誤った回答が混ざっていれば顧客満足度は下がります。

返した回答が正しいか、顧客が実際に解決できたかを先に押さえてください。

Q. AIの回答率が70%前後で頭打ちになるのはなぜ？

原因は、ドキュメントの不足・構造の悪さ・質問の言い回しのずれ・回答しても解決しない、の4つに分けられます。

どれに当てはまるかは、未回答ログと有人対応に引き継がれた会話を分類すると見えてきます。

Q. AI回答率の目標値はどう決めればいい？

自社の過去実績を基準にします。

問い合わせの内容や難易度は企業ごとに違うため、他社の数値をそのまま目標にしても比較になりません。

先月や前四半期の数値と比べて、改善の進み具合を判断してください。

まとめ

AI回答率の改善は、回答率・正答率・自己解決率という3つの指標を正しく区別することから始まります。

回答率が上がらない原因は、ドキュメントの有無・構造・言い回し・解決度合いの4つに整理できます。

未回答ログと有人対応への引き継ぎ理由を分類すれば、どこで問い合わせが落ちているかを具体的に特定できるでしょう。

チャネルトークのALF・ドキュメント・問い合わせ別統計を使えば、こうした特定作業を画面上で進められます。実際の事例でも、継続的なチューニングによって解決率や正答率が短期間で大きく伸びています。

重要なのは、改善を一度で終わらせず、週次・月次のサイクルとして仕組み化することです。AI回答率の頭打ちに悩んでいる方は、まず未回答ログの分類から着手してみてください。