Как проверять качество ИИ-секретаря: ежемесячная рутина

Вы потратили полдня на настройку ИИ-секретаря, дважды его протестировали, перевели на него номер и занялись делами. И правильно сделали. Ошибка — думать, что на этом работа закончена. Телефонный ассистент отстаёт от жизни: не потому, что ломается, а потому, что бизнес меняется, а его профиль — нет. Вот та рутина, которая не даёт ему отстать от реальности.

Почему «настроил и забыл» тихо подводит

Программа, которую поставили один раз, обычно так и остаётся в том виде, в каком её оставили. У секретаря — живого или ИИ — такой роскоши нет: то, о чём он рассказывает, постоянно меняется. Вы открыли субботний приём. Убрали одну услугу. Весной подняли цены. Поставщик задержал поставку — и привычные сроки поехали. Ассистента ничего из этого не касается, пока вы ему об этом не скажете, и он продолжит отвечать с уверенностью человека, читающего прошлогодний сценарий.

Ломается это редко и незрелищно. Ассистент не начинает вдруг нести бессмыслицу. Он называет старую цену, записывает людей в окно, которого у вас больше нет, или не знает про новую услугу, которую вы как раз пытаетесь продавать. Каждый такой случай — маленькая невидимая течь. Сами вы этих звонков не слышите, поэтому ничего и не замечаете — пока клиент не обмолвится или пока вы не задумаетесь, почему на новую процедуру так мало записей.

Так что смысл проверок — не поймать машину на плохом поведении. Смысл — поймать разрыв между тем, что ваш бизнес делает сегодня, и тем, что о нём думает ассистент. Этот разрыв растёт медленно, а закрывается примерно за двадцать минут в месяц. Эта статья — про те самые двадцать минут.

Ежемесячная рутина одним взглядом

Сначала всё целиком, а потом разберём по частям. Она нарочно маленькая. Проверка, которую вы действительно делаете, лучше дотошной, которую бросают на второй месяц.

1. 1
   Сделайте три тайных звонка

   Позвоните на собственный номер как клиент с настоящим вопросом. Каждый месяц берите новый сценарий. Слушайте как посторонний, а не как хозяин.
2. 2
   Разберите пять расшифровок

   Откройте сводки по звонкам, наугад возьмите пять последних и оцените по короткому чек-листу. Они у вас уже есть — ассистент присылает их после каждого звонка.
3. 3
   Считайте поправки

   Отмечайте, сколько раз вам пришлось что-то исправлять или извиняться за слова ассистента. Следите за этим числом из месяца в месяц. Рост — ваша ранняя тревожная лампочка.
4. 4
   Решите: править самому или писать в поддержку

   Почти всегда дело в профиле, а не в ассистенте. Отделите то, что чините сами, от редких случаев, с которыми стоит идти в поддержку.

Двадцать минут раз в месяц, лучше в тот же день, когда вы и так возитесь с бумагами, — так привычка приживётся. Теперь подробности.

Шаг первый: тайный звонок

Самое полезное, что вы можете сделать, — позвонить в собственный бизнес так, как это сделал бы клиент. Не чтобы убедиться, что телефон звонит, а чтобы услышать то, что слышит живой человек. Владельцы по умолчанию никудышные тестировщики: мы задаём вопросы, на которые ассистент точно ответит. Тайный звонок — это когда вы намеренно задаёте неудобные.

Придумайте сценарий до того, как набрали номер, и сделайте его конкретным. Не «а у вас есть запись», а «я утром сколол зуб, меня примут до выходных?». Не «во сколько вы работаете», а «в праздничный понедельник вы открыты?». Ценность — на краях, потому что именно на краях профиль тонкий.

• Срочный звонок: у человека проблема, и ему нужен быстрый, по-человечески звучащий ответ. Ассистент успокаивает и передаёт дальше — или зачитывает график работы, как робот?
• Тот, кто узнаёт цену: «сколько примерно стоит X?». Он называет актуальную цифру, честно даёт вилку — или обещает сумму, по которой вы давно не работаете?
• Вопрос не по меню: то, чего вы не делаете. Скажет прямо и предложит ближайшее по смыслу — или начнёт выкручиваться?
• Запись: реально попробуйте записаться, а потом проверьте, дошла ли заявка туда, куда должна. Запись, которая до вас не доехала, хуже пропущенного звонка.

Меняйте сценарий каждый месяц, иначе вы будете вечно проверять один и тот же гладкий путь. Звонок держите коротким — это выборочная проверка, а не аудит. И самое главное: сразу, как положили трубку, запишите одну честную фразу — я бы записался или положил бы трубку и позвонил в соседнее место? Это чутьё надёжнее любой оценки, которую вы поставите потом.

Шаг второй: выборка расшифровок по чек-листу

Тайные звонки показывают, как ассистент справляется с тем, что подкидываете ему вы. Расшифровки показывают, как он справился с тем, что на самом деле спрашивали живые люди, — а это всегда страннее и разнообразнее любой вашей выдумки. Vunoon после каждого звонка присылает на почту сводку и полную расшифровку, так что сырьё уже лежит у вас в ящике. Вся дисциплина в том, чтобы взять и прочитать несколько.

Не читайте все подряд — так проверки и умирают. Возьмите пять недавних звонков более-менее наугад. Случайность важна: если разбирать только те звонки, которые чем-то насторожили, ассистент покажется хуже, чем он есть, и вы пропустите тихие обычные разговоры, где мелкая ошибка проскочила незамеченной.

Оцените каждый из пяти по одному и тому же короткому чек-листу. В нём должно быть только то, что вы можете оценить за пятнадцать секунд на звонок. Вот чек-лист, который подходит большинству небольших компаний: скопируйте его, подгоните формулировки под своё дело и пользуйтесь каждый месяц ровно им, чтобы цифры можно было сравнивать.

Пять звонков, пять критериев, двадцать пять маленьких галочек. Это занимает минут пять и даёт то, чего не даст ощущение, — закономерность. Один звонок с неудачным тоном — шум. Четыре из пяти с провалом по точности — сигнал, и почти всегда он указывает на одну конкретную строчку в профиле, которая устарела.

Особенно внимательно смотрите на строку про честность. Хорошему ИИ-секретарю позволено чего-то не знать. Вы охотитесь не за незнанием, а за складной догадкой, произнесённой с полной уверенностью. Если такая нашлась в расшифровке — это самая ценная находка месяца: она прямо говорит, что дописать в профиль, чтобы ассистенту больше не пришлось там импровизировать.

Шаг третий: считайте, как часто вы его поправляете

Тайный звонок и выборка расшифровок — моментальные снимки. Частота поправок — линия тренда, и это самое полезное число из всех, что вы будете вести. Определение простое: сколько раз за месяц вам пришлось исправлять, уточнять или извиняться за то, что ассистент сказал звонившему?

Ловить их вы будете в реальной жизни: клиент приходит со словами «ваш ассистент сказал, что это тридцать евро», а это не так; запись падает не в то окно; кто-то упоминает услугу, которую вы перестали оказывать несколько месяцев назад. Каждый такой случай — поправка. Ведите счёт в чём-нибудь тупом и надёжном: заметка в телефоне, строка в таблице, последняя страница журнала записи. Инструмент значения не имеет. Регулярность — имеет.

Следить нужно не за самим числом — пара поправок наберётся у кого угодно, — а за направлением. Ровный низкий счёт из месяца в месяц значит, что профиль и бизнес идут в ногу. Ползучий рост — дымок, за которым что-то уехало: вы поменяли цену, добавили услугу, сдвинули часы работы, а ассистент всё ещё сверяется со старой картой.

Править самому или писать в поддержку? Как отличить

К этому решению и ведёт вся рутина. Проблема найдена. Вы правите её сами в профиле — или это повод написать в поддержку? Если развести эти два случая правильно, вы сэкономите и на пустых обращениях, и на вечерах, потраченных на перечитывание настроек, которые тут вообще ни при чём.

Правило простое: если ассистент сказал о вашем бизнесе неправду, почти всегда это правится в профиле. А если он вёл себя странно независимо от того, что написано в профиле, — раз за разом не разбирал чёткую речь, обрывал звонки, проигнорировал инструкцию, которой должен был следовать, — вот тогда о вас хочет услышать поддержка.

Правьте сами, когда…

• Он назвал старую цену или устаревшую вилку — обновите цифру в профиле.
• Он не знал про новую услугу или предложил ту, которую вы убрали, — профиль устарел.
• Он назвал неверные часы работы или не знал про выходной на праздники — добавьте или поправьте график.
• Он неуклюже ответил на частый вопрос — напишите ответ, который дали бы вы сами, и добавьте его, чтобы ассистент перестал импровизировать.
• Он записал клиента в окно, которое вы не хотите занимать, — ужесточите правила доступности, которые сами же настраивали.

Пишите в поддержку, когда…

• Он раз за разом не разбирает чётко говорящих людей или звонящие жалуются на плохой звук — это может быть вопрос линии или маршрутизации, а не вашего профиля.
• Он игнорирует инструкцию, которая задана явно и правильно, — например, продолжает называть цены после того, как вы это запретили.
• Сводки или расшифровки перестали приходить, либо звонки переводятся не так, как задумано.
• Что-то не так, а вы честно проверили, что профиль в порядке. Когда карта верна, а поведение нет — разбираться уже им.

Честно говоря, первый список закроет подавляющее большинство находок. Это не упрёк ассистенту — такова природа инструмента. Он знает ровно то, что вы ему сказали. Почти все проблемы качества на самом деле проблемы информации, а они чинятся за тридцать секунд, как только понимаешь, куда смотреть.

Как на самом деле выглядит «хорошо»

Про цель стоит договориться сразу, иначе погоня за идеалом вымотает вас и обесценит всю затею. Хороший ИИ-секретарь — не тот, кто безупречно отвечает на любой вопрос. Это тот, кто хорошо отвечает на частые и безопасно сдаётся на остальных: если он не знает, он так и говорит и принимает сообщение, с которым вы сможете что-то сделать.

Представьте стоматологию на два кресла. Звонящий спрашивает про сложную имплантацию, с которой клиника отправляет к профильному специалисту. Эталонный ответ — не уверенная выдуманная лекция, а вот это: «Этим мы сами не занимаемся, но я запишу ваши данные, и врач перезвонит и подскажет, куда обратиться». Такой звонок идёт в графу «удача», хотя ассистент «не знал ответа». Сообщение принято, человек успокоен, никого не ввели в заблуждение.

Поэтому, оценивая расшифровки, не снижайте балл за аккуратное «я запишу и передам». Так система и должна работать. Снижайте за блеф, за упущенные детали и за устаревшие факты. Планка — надёжно и честно, а не всезнающе. Ассистенту, который никогда не говорит «я не знаю», доверять стоит меньше, а не больше.

Как сделать, чтобы рутина прижилась

Лучшая проверка та, которую вы не бросите. Поэтому пусть она будет до неприличия лёгкой. Прицепите её к тому, что вы и так делаете каждый месяц: к выставлению счетов, зарплате, отчётности по НДС, — чтобы она ехала на уже готовой привычке, а не требовала новой. Поставьте повторяющееся напоминание в календаре и назовите его скучно и конкретно: «проверка телефона».

1. 1
   Выберите фиксированный день

   Один и тот же день каждый месяц. Первый понедельник, последняя пятница — то, что запомните. Предсказуемость важнее амбиций.
2. 2
   Держите счёт поправок на виду

   Поправки — в одно место, куда вы действительно заглядываете. Если счёт живёт в документе, который вы не открываете, линия тренда умирает.
3. 3
   Чините сразу

   Как только тайный звонок или расшифровка вскрыли устаревший факт, обновляйте профиль немедленно — не откладывайте в список дел, до которого не дойдёте.
4. 4
   Смотрите тренд раз в квартал

   Раз в три месяца окиньте взглядом счёт поправок. Ровно и низко? Всё в порядке. Растёт? Что-то изменилось по существу — копните один раз, но как следует.

Ни менеджера, ни дашборда, ни таблицы с формулами для этого не нужно. Нужны вы, двадцать минут и готовность позвонить в собственный бизнес и послушать его как посторонний. Вот и вся дисциплина — и именно она отделяет ассистента, который тихо приводит клиентов, от того, который так же тихо их теряет.

Частые вопросы о качестве ИИ-секретаря