ALFの正答率を上げる、RAGの設定方法
Tessa • CX Manager / Product
- 設定Tips
ALFが処理するチャット数を増やしたいです・・
チャネルトークCXチームのTessaです😎 主に新機能のプロダクトローカライズとご利用ガイドなどのコンテンツを担当しています。
皆さん、先日公開した『ALFの正答率を上げる、FAQの設定方法』を読んでいただいたでしょうか？引き続きチャネルトークのAIエージェント"ALF"の設定方法をご紹介します💁♀️
「ALFを使い始めたけど、正答率がイマイチ」「よくある質問のALFの処理件数をもう少し上げたい」そのような方に今回のブログをぜひ！読んでいただけると嬉しいです✨
登録された内容をそのまま回答するFAQとは違い、RAGはFAQやドキュメントに登録されている内容を顧客の質問に併せてALFが自分で文章を考えて回答する機能で、より文脈に併せた回答をすることができます💬
RAGとは？
RAGとはRetrieval-Augmented Generationの略称で、検索拡張生成という意味です。
チャネルトークでは、AIエージェントALFが登録されたFAQやドキュメントの内容を基盤に"生成"して回答することをRAGと呼んでいます。
FAQに登録された回答を"そのまま"顧客に答えるのが → FAQで、
FAQとドキュメントを基盤に"生成"して回答するのが → RAGとなります。
RAGを使うにはどうしたらいいですか？
これまでは顧客が質問した内容がFAQの代表質問や追加質問にない場合、ALFが「こちらの質問についてはオペレーターにてご案内できるかと思います。」と言って、オペレーター接続を案内していました。
しかし、8月15日からFAQもRAGの技術で"生成"して回答できるようになり、ALFの回答領域がさらに広くなりました。つまり、今FAQを登録しておけばすぐにRAGを利用できる状況です！
ただし、FAQに登録するよりも多くの回答をできるようにするには、チャネルトークの「ドキュメント」に記事を登録することをおすすめします📚「ドキュメント」は自社のガイドやブログなどを管理できる機能で、ドキュメントに登録されている記事を基盤にALFが回答を生成します。（→ドキュメントのガイドを確認する）
FAQとドキュメントの使い分けを教えてください
顧客がALFに質問したとき、ALFの回答の優先順位は以下の通りです。
FAQで"そのまま"回答できる内容があるかを確認
1番がない場合、FAQとドキュメントを基盤に生成して回答できるかを確認
同一の内容がFAQとドキュメントにそれぞれ登録されている場合、優先的にFAQを基盤に生成して案内します。
🌟FAQの登録前であれば⇨まずはFAQの登録から
前回のブログを参考に、顧客からのよくある質問をFAQに登録してみてください！
🌟FAQをすでに登録済みであれば⇨ドキュメントも登録
今使っているガイドやFAQに登録できなかった広範囲な内容などを文書化してみてください！
FAQ | ドキュメント |
顧客が本当によく質問が来る、「優先的」に案内したい内容 | よくある質問のように顧客の質問タイプが一貫していないが、ALFの自動回答に任せたい内容 |
ex.
| ex.
|
Q. 同一の内容がFAQとドキュメントにある場合、ALFはどの情報を案内しますか？
A. ALFの回答の優先順位は以下の通りです。
顧客の質問にFAQに登録されている回答を"そのまま"案内できるか→可能であればすぐにFAQを案内する
1で不可な場合、FAQに登録されている内容と公開中の記事から"生成"して回答できるかを確認→可能であればRAGを通じて案内する
1(FAQ)、2(RAG)どちらも不可であれば、ALFが"オペレーター接続"を案内する
ドキュメントを登録する
ドキュメントの構造
ドキュメントは、ドキュメント＞スペース＞カテゴリー＞記事の順番で構成されます・
ドキュメント内で1つまたは複数のスペースを作成して管理でき、
スペースにカテゴリーを作成し、該当のカテゴリーの下層に記事を作成したり、
スペースにカテゴリーを作成せずに記事のみを作成して公開することができます。
より詳しい内容は、ご利用ガイドをご参考ください！（→ドキュメントのガイドを確認する）
記事を作成する
右上の [記事を作成] ボタンから記事を作成できます。このとき、必ず"公開"ステータスにすることで顧客に表示され、ALFも参照することができます。（→記事の作成方法を確認する）
✅ 記事作成のTips
記事名と記事内の文章にH2やH3の見出しを付けましょう！
顧客の質問がH2やH3に該当する場合、その下層にある内容はより正確に案内されます。
記事内の1つの見出しには該当の見出しに合う内容のみを記載しましょう！
例えば、見出しが「カテゴリーを作成する」の場合にカテゴリーの作成方法と一緒にスペースの追加方法があると、顧客が「カテゴリー」について質問したときに該当の内容が案内される場合があります。見出しと内容は繋がるように記載してください。
Q. 記事に登録されている画像・動画・リンク・ファイルを基盤にALFは回答できますか？
A. 🚨ALFはテキストを基盤に回答することができます🚨
そのため、記事内の画像・動画・リンク・ファイルのようなテキスト以外のものは回答の基盤にすることができません。
ALFを活用する
ALFが該当記事を参照して回答できるようにするには、以下の3つを必ず設定する必要があります。
1️⃣ ドキュメントのスペースの左下にある [スペース設定] で
2️⃣ Webサイトに公開ON＋ALFの参照ON
3️⃣ 該当記事を[公開] ステータスにする
Q. 出典リンクを顧客に送らないようにできますか？
A. 上記の条件でWebサイトに公開のみをOFFにすると、ALFが参照して回答する時に出典リンクが表示されなくなります。出典自体を隠すことはできません。
ワークフローを設定する
ワークフローの選択肢ボタンの次のステップを [AIエージェント(ALF)で対応] にするだけです👩🏫
選択肢ボタンの横にある紫色の矢印をクリック→ [メッセージを送信] セクションを先に選択し、「ご不明点があれば質問してください」のような質問を誘導するメッセージを入力します。
その次に該当ステップの下にある [＋アクションを追加] → [AIエージェント(ALF)で対応] を選択し、右上の [実行] をクリックして完了です。
Q. なぜメッセージ送信アクションを先に設定する必要がありますか？
A. すぐにALF対応のみを選択できると、何のメッセージもなしにチャットの担当者がALFになります。ALFに顧客が質問するのを誘導するためのメッセージを設定することをおすすめします。
セッティングを確認する
チャネルトークのボタンを設置しているサイトでボタンをクリックし、登録した質問を投げかけてみてください！
Q. ALFをテストできますか？現在実行中のワークフローに設定するのが怖いです。
A. 現在実行中のワークフローを複製し、限定起動に設定する→ALFをセッティングして実行する→顧客用リンクでワークフローを開くとテストできます。
RAGで回答した内容はどのように確認できますか？
1. ALF統計で確認する
方法：[AIタブ] - [統計]
照会する日にちを選択すると [ALFの回答タイプ] でRAGを通じて何件回答したのかが表示されます。FAQを通じたRAGなのか、ドキュメントを通じたRAGなのかは右上の [ダウンロード] で統計結果のExcelファイルで確認することができます。
ダウンロードしたファイルのRAGの項目で、
reference.faqと記載されている場合 → FAQを参照した回答で、
reference.documentと記載されている場合 → ドキュメントを参照した回答です。
2. 受信トレイで確認する
受信トレイの左上にある [AIエージェント(ALF)] をクリックすると、ALFが「応対中(進行中)」の問い合わせと「応対引き継ぎ(オペレーター接続済み)」の問い合わせを確認できます。
顧客側のチャット画面で、
FAQを通じて登録された回答をそのまましている場合 → "マッチングした質問項目"と表記されます。
FAQまたはドキュメントを基盤に生成してRAGで回答した場合 → "出典"と表記されます。
このとき、FAQ自体は顧客に公開されないものなので移動するリンクがありません。
ドキュメントを参照した場合、[Webサイトに公開] をONにしていると移動するリンクが表示され、[Webサイトに公開] をOFFにしていると移動するリンクが表示されません。
まとめ
✔️ FAQとRAGの違い
FAQ：ALFが [ドキュメント] - [FAQ] に登録された回答をそのまま使用する
RAG：ALFがFAQとドキュメントで公開された記事を基盤に回答を生成する
ALFの回答の優先順位
FAQに"そのまま"回答できる内容があるかを確認 [FAQ]
1番がない場合、FAQとドキュメントを基盤に生成して回答できるかを確認 [RAG]
それでもダメな場合はオペレーター接続に誘導
ALFが回答できるのはテキストのみ
画像・動画・ファイルなどの情報ALFは回答できません。
RAGで回答する場合、ドキュメントに記載してあるリンクはハイパーリンクではなくテキストに変換されます。
参照内容を充実させてALFの対応数を増やしましょう！
FAQとドキュメントの内容を補完すればするほど、ALFが参照する内容が増えるのでより広範囲の回答をすることができます🤖 ALFを新人オペレーターとして捉え、「この程度であれば新人さんに任せたいな」と思う内容をまずは文書化して登録してください。新人オペレーターALFを上手に育てて、問い合わせ対応の効率化を図りましょう💪
原文：Marie（CX Manager in Korea）
翻訳：Tessa（CX/Product in Japan）