AI電話代行の品質をどう評価するか：毎月の点検手順

半日かけてAI電話受付を設定し、二回ほど試して、番号を転送し、そのまま次の仕事に移った。判断としては正しいのです。間違いは、それで仕事が終わったと思い込むこと。電話アシスタントはずれていきます――壊れるからではなく、事業のほうが変わり、プロフィールが変わらないからです。そのずれを正し続けるための手順を紹介します。

「設定して放置」が静かに破綻する理由

一度インストールしたソフトは、たいてい置いたままの状態で動き続けます。しかし受付は――人でもAIでも――そうはいきません。話す中身のほうが動き続けるからです。土曜診療を始める。あるサービスをやめる。春に価格を上げる。仕入れが遅れて、いつもの納期が変わる。そのどれ一つとして、あなたが伝えないかぎりアシスタントには届きません。そしてアシスタントは、去年の台本を読み上げる人と同じ自信で答え続けるのです。

失敗が派手に起きることはめったにありません。アシスタントが突然でたらめを話し出すわけではないのです。古い料金を伝える、もう用意していない枠に予約を入れる、いま力を入れて売りたい新しいサービスを取りこぼす――そういう類です。どれも小さく、目に見えない漏れです。自分では通話を聞かないので、気づくこともありません。客にそう言われるか、新しい施術の予約がなぜこんなに少ないのかと首をかしげるまでは。

つまり品質チェックの狙いは、機械の不行儀を見つけることではありません。今の事業の実態と、アシスタントが思い込んでいる事業像とのずれをつかまえることです。このずれはゆっくり広がり、月に二十分ほどで埋まります。この記事は、その二十分の話です。

毎月の手順をひと目で

個々の中身に入る前に、まず全体像を。意図して小さくしてあります。二か月目に投げ出す完璧な手順より、実際に続けられる手順のほうが強いからです。

1. 1
   ミステリーコールを三本かける

   本当に聞きたいことがある客のつもりで、自分の回線に電話します。シナリオは毎月変えてください。経営者としてではなく、見知らぬ客として聞くこと。
2. 2
   文字起こしを五本抜き取る

   通話サマリーを開き、最近の通話から無作為に五本選んで、短い採点表で評価します。素材はすでに手元にあります――通話のたびにアシスタントが送ってくれているからです。
3. 3
   訂正の回数を数える

   アシスタントの発言について、あなたが直したり謝ったりした回数を書き留めます。その数字を月ごとに追いかけてください。増え始めたら、それが早期警報です。
4. 4
   設定を直すか、サポートに上げるかを決める

   ほとんどの問題はアシスタントではなくプロフィールの側にあります。自分で直せるものと、サポートに伝える価値のある稀なものを仕分けます。

月に一度、二十分。できれば他の事務仕事と同じ日にすると定着します。では中身へ。

その一：ミステリーコール

いちばん役に立つのは、客と同じやり方で自分の会社に電話をかけてみることです。電話が鳴るかを確かめるためではなく、実際の相手に何が聞こえているかを聞くために。経営者はもともと下手なテスト客です。アシスタントが答えられると分かっている質問をしてしまうからです。ミステリーコールとは、あえて答えにくいほうを聞くということです。

かける前にシナリオを決め、具体的にしましょう。「予約は空いていますか」ではなく「今朝、歯が欠けてしまって、週末までに診てもらえますか」。「営業時間は何時までですか」ではなく「祝日の月曜は開いていますか」。値打ちがあるのは端のほうです。プロフィールが薄いのは、いつも端だからです。

• 急いでいる客：速く、人の温度がある答えを必要としている相手。アシスタントは安心させて適切につないでくれますか。それとも機械のように営業時間を読み上げますか。
• 値段を調べている客：「Xはだいたいいくらですか」。今の金額を答えますか、正直に幅で答えますか、それとも、もう受け取っていない額を約束してしまいますか。
• 取り扱いのない相談：あなたが提供していないもの。はっきりそう言って、いちばん近いものを案内しますか。それとも知ったかぶりをしますか。
• 予約：実際に予約を取ってみて、それが想定どおりの場所に届くか確かめます。あなたに届かない予約は、取り逃した電話より悪いのです。

シナリオは毎月入れ替えて、同じうまくいく筋道ばかり試さないようにします。通話は短く――監査ではなく抜き取りです。そして何より、電話を切った直後に正直な一文を書き留めてください。自分ならここで予約しただろうか。それとも切って、次の店にかけただろうか。この直感は、あとから付けるどんな点数よりも当てになります。

その二：採点表を使った文字起こしの抜き取り

ミステリーコールで分かるのは、あなたが投げた球をアシスタントがどう捌くかです。文字起こしの抜き取りで分かるのは、実際の相手が本当に聞いたことをどう捌いたか――そちらは、自分で考えつくどんな筋書きより奇妙で、幅があります。Vunoonは通話のたびにサマリーと全文の文字起こしをメールで送るので、素材はもう受信箱にあります。あとは、実際に何本か読むという習慣だけです。

全部読んではいけません――そうやって品質チェックは死にます。最近の通話から、だいたい無作為に五本選びます。無作為であることが大事です。引っかかった通話ばかり見返していると、実際より悪いという結論になりますし、何事もなく過ぎた平凡な通話に紛れ込んだ小さな誤りを見落とします。

五本とも、同じ短い採点表で評価します。一本あたり十五秒で判断できることに絞ってください。多くの小さな会社で使える採点表を挙げます――そのまま写し、業種に合わせて言葉を直し、毎月まったく同じものを使ってください。そうすれば数字を比べられます。

五本の通話、五つの観点、二十五の小さな判断。所要はおよそ五分で、勘では手に入らないものが得られます。傾向です。話しぶりでつまずいた通話が一本なら、それは雑音。五本中四本が正確さで欠けているなら、それは信号です――そしてほぼ必ず、古びたプロフィールの特定の一か所を指しています。

とりわけ正直さの行に注意してください。優れたAI電話受付は、知らないことがあってかまいません。狙って探すべき失敗は無知ではなく、まったく自信のある口ぶりで語られた、滑らかな当て推量です。文字起こしの中でそれを見つけたら、その月でいちばん値打ちのある発見です。アシスタントが二度と即興をしなくて済むように、プロフィールへ何を書き足すべきかが、そこに正確に示されているのですから。

その三：訂正した回数を追いかける

ミステリーコールと文字起こしの抜き取りは、その時点の断面です。訂正の回数は推移の線であり、残しておく数字としてはいちばん役に立ちます。定義は単純。アシスタントが相手に伝えたことについて、今月あなたが直したり、補ったり、謝ったりしたのは何回か。

こうしたものは現場で見つかります――実際は違うのに「アシスタントは30ユーロだと言いました」と言いながら客が来る。予約が違う枠に入る。何か月も前にやめたサービスの話を持ち出される。どれも一件の訂正です。数はどこか素朴で長持ちする場所に付けてください。携帯のメモ、表計算の一行、予約帳の裏表紙。道具は何でもかまいません。大事なのは続けることです。

見るべきは絶対の数ではありません――どんな設定でも数件は出ます――向きです。毎月低いまま横ばいなら、プロフィールと事業がそろっているということ。じわじわ上がっているなら、それは何かがずれた煙です。価格を変えた、サービスを増やした、営業時間を動かした――なのにアシスタントは、古い地図のまま働いているのです。

設定を直すか、サポートに上げるか――見分け方

手順全体が向かう先が、この判断です。問題は見つかりました。自分でプロフィールを直すのか、それともサポートに伝えるものなのか。この仕分けが正しくできれば、無駄な問い合わせも、原因でもなかった設定を読み返して半日を溶かすことも避けられます。

目安はこうです。アシスタントがあなたの事業について誤ったことを言ったのなら、ほぼ必ずプロフィールの修正です。プロフィールの中身とは関係なく振る舞いがおかしいなら――はっきりした話し方を何度も聞き違える、通話が切れる、守るはずの指示を無視する――そのときこそ、サポートが知りたい場面です。

自分で直すのはこんなとき

• 古い料金や古い価格帯を伝えた――プロフィールの金額を更新します。
• 新しいサービスを知らなかった、あるいはやめたサービスをまだ案内した――プロフィールが古びています。
• 誤った営業時間を答えた、または休業日を知らなかった――予定を追加するか、直します。
• よくある質問にぎこちなく答えた――自分ならこう言う、という答えを書いて追加し、即興をやめさせます。
• 埋めたくない枠に予約を入れた――設定した受付可能ルールを締め直します。

サポートに上げるのはこんなとき

• はっきり話す相手を何度も聞き違える、または音が悪かったと相手に言われる――プロフィールではなく、回線や転送の問題かもしれません。
• 明確かつ正しく設定した指示を無視する――たとえば、料金を言わないように設定したのに言い続ける。
• サマリーや文字起こしが届かなくなる、または電話が想定どおりに転送されない。
• どこかおかしいと感じ、プロフィールが正しいことを本当に確かめた。地図が正しいのに振る舞いが違うなら、それは向こうが見るべき問題です。

正直に言えば、見つかるもののほとんどは最初のリストで片づきます。これはアシスタントの粗探しではなく、道具の性質です。アシスタントは、あなたが伝えたことしか知りません。品質の問題の多くは、実のところ情報の問題です。そして情報の問題は、どこを見ればいいか分かっていれば三十秒で直ります。

「良い」とは実際にどういう状態か

目標をはっきりさせておく価値があります。完璧を追いかけると自分が消耗し、この作業ごと無駄になるからです。良いAI電話代行とは、あらゆる質問に完璧に答えるものではありません。よくある質問にきちんと答え、それ以外は安全に外すものです。つまり、分からないときはそう言い、あなたが動ける伝言を受けるということ。

診療台が二つの歯科医院を思い浮かべてください。相手が、その医院では紹介に回しているインプラントの専門的な処置について尋ねます。手本となる応答は、自信ありげに誤った説明を即興することではありません。「そちらは当院では扱っておりませんが、ご連絡先を伺い、歯科医師から折り返しご案内いたします」です。アシスタントが「答えを知らなかった」にもかかわらず、この通話は成功の側に入ります。伝言は受け取れ、相手は安心し、誰も誤った情報を渡されていないのですから。

ですから文字起こしを採点するとき、そつのない「ご伝言を承ります」に減点をつけたくなるのはこらえてください。それは仕組みが働いている証拠です。減点すべきは、知ったかぶり、聞き漏らし、古い事実。基準は頼りになり、正直であることであって、全知であることではありません。「分かりません」と決して言わないアシスタントは、より信用すべき相手ではなく、より信用すべきでない相手です。

この手順をきちんと定着させる

いちばん優れた品質チェックは、やめずに済むものです。だから、みっともないくらい軽くしておきましょう。毎月すでにやっていること――請求書の発行、給与計算、消費税の集計――にくっつけて、新しい習慣を作らずに既存の習慣へ相乗りさせます。カレンダーに繰り返しの予定を入れ、「電話チェック」のような、退屈で具体的な名前を付けてください。

1. 1
   日を固定する

   毎月同じ日に。第一月曜でも、最終金曜でも、自分が覚えていられる日で。意気込みより、決まっていることのほうが効きます。
2. 2
   集計を目に入る場所に置く

   訂正の記録は、実際に目を通す一か所にまとめます。開かない書類の中にあれば、推移の線は死にます。
3. 3
   その場で直す

   ミステリーコールや文字起こしで古い事実が出てきたら、すぐにプロフィールを更新します――どうせ見ないやることリストに足さないこと。
4. 4
   三か月ごとに推移を見る

   三か月に一度、訂正の回数を振り返ります。低いまま横ばいなら、それで十分。上がっているなら、構造的に何かが変わっています――そのときは一度、きちんと掘りましょう。

ここに管理職も、ダッシュボードも、数式入りの表計算も要りません。要るのはあなたと、二十分と、自分の会社に電話をかけて見知らぬ客として聞く気持ちだけ。習慣としてはそれで全部で、静かに客を連れてくるアシスタントと、静かに客を失っていくアシスタントを分けるのは、そこなのです。

AI電話代行の品質についてよくある質問