AI 전화 응대 품질을 점검하는 법: 매달 20분 루틴

오후 한나절을 들여 AI 상담원을 설정하고, 시험 통화를 두어 번 걸어 보고, 번호를 착신전환해 둔 뒤 다른 일로 넘어갔을 겁니다. 거기까지는 잘하신 겁니다. 문제는 그것으로 일이 끝났다고 생각하는 데서 시작됩니다. 전화 상담원은 조용히 어긋납니다. 고장이 나서가 아니라, 사업은 바뀌는데 프로필은 그대로이기 때문이죠. 그 어긋남을 매달 붙잡아 주는 것이 이 루틴입니다.

‘설정하고 잊기’가 조용히 무너지는 이유

한 번 설치한 소프트웨어는 대개 놔둔 그대로 있습니다. 하지만 접수 담당자는 — 사람이든 AI든 — 그런 호사를 누리지 못합니다. 입에 올리는 대상이 계속 움직이니까요. 토요일 진료를 새로 엽니다. 시술 하나를 접습니다. 봄이 되면 가격을 올립니다. 자재 수급이 밀려 평소 작업 기간이 달라집니다. 말해 주지 않는 한 이 중 무엇도 상담원에게는 닿지 않고, 상담원은 작년 대본을 읽는 사람의 확신에 찬 목소리로 계속 응대합니다.

무너지는 방식은 좀처럼 극적이지 않습니다. 어느 날 갑자기 상담원이 횡설수설하는 게 아닙니다. 옛날 가격을 불러 주고, 이제는 받지 않는 시간대에 예약을 잡고, 지금 한창 밀고 있는 새 서비스는 아예 언급하지 못합니다. 하나하나가 눈에 보이지 않는 작은 구멍입니다. 그 통화를 직접 들을 일이 없으니 알아차릴 방법도 없죠. 손님이 지나가듯 말해 주거나, 새로 시작한 시술 예약이 왜 이렇게 없나 의아해지기 전까지는요.

그래서 품질 점검의 목적은 기계의 오작동을 잡아내는 게 아닙니다. 오늘의 사업이 하는 일과 상담원이 알고 있는 일 사이의 간극을 잡아내는 것입니다. 그 간극은 천천히 벌어지고, 한 달에 20분이면 메워집니다. 이 글이 바로 그 20분입니다.

한눈에 보는 월간 루틴

각 단계를 파고들기 전에 전체를 먼저 보여 드립니다. 일부러 작게 짰습니다. 실제로 굴러가는 점검 루틴이, 두 달 만에 손 놓게 되는 완벽한 루틴을 이깁니다.

1. 1
   미스터리 콜 세 통 걸기

   진짜 궁금한 게 있는 고객인 척, 내 번호로 전화를 겁니다. 시나리오는 매달 바꾸세요. 사장이 아니라 처음 전화하는 사람의 귀로 들어야 합니다.
2. 2
   통화 기록 다섯 건 표본 점검

   통화 요약을 열어 최근 통화 다섯 건을 무작위로 고르고, 짧은 채점표로 점수를 매깁니다. 재료는 이미 있습니다. 통화가 끝날 때마다 상담원이 메일로 보내 주니까요.
3. 3
   정정 횟수 세기

   상담원이 한 말을 내가 바로잡거나 대신 사과한 횟수를 적어 둡니다. 그 숫자를 달마다 이어 보세요. 올라가는 추세가 곧 조기 경보등입니다.
4. 4
   판단: 직접 고칠 일인가, 알릴 일인가

   문제 대부분은 상담원이 아니라 프로필에 있습니다. 직접 고칠 수 있는 것과, 드물게 지원팀에 알릴 만한 것을 갈라 두세요.

한 달에 한 번, 20분. 가능하면 다른 사무 처리를 하는 날에 붙여 두면 습관으로 남습니다. 이제 하나씩 들여다보겠습니다.

1단계: 미스터리 콜

가장 쓸모 있는 한 가지는 고객이 걸듯 내 가게에 직접 전화를 걸어 보는 일입니다. 벨이 울리는지 확인하려는 게 아니라, 진짜 사람이 듣는 것을 들어 보려는 겁니다. 사장은 원래 시험 통화에 서툽니다. 상담원이 답할 수 있다고 아는 질문만 골라 묻기 때문이죠. 미스터리 콜은 일부러 껄끄러운 질문을 던지는 일입니다.

전화를 걸기 전에 시나리오를 정하되, 구체적으로 정하세요. “예약 되나요?”가 아니라 “오늘 아침에 이가 깨졌는데 주말 전에 볼 수 있을까요?”. “몇 시까지 하세요?”가 아니라 “대체공휴일인 월요일에도 문 여나요?”. 값어치는 가장자리에 있습니다. 프로필이 얇은 곳이 바로 거기니까요.

• 급한 발신자: 빠르고 사람다운 답이 필요한 상황을 들고 온 사람. 상담원이 안심시키고 제대로 넘겨 주나요, 아니면 로봇처럼 영업시간만 읽어 주나요?
• 가격을 재는 사람: “그거 대략 얼마예요?” 지금 받는 금액을 말하나요, 정직하게 범위로 답하나요, 아니면 이제는 받지도 않는 숫자를 약속해 버리나요?
• 취급하지 않는 질문: 우리가 하지 않는 일. 그렇다고 분명히 말하고 가장 가까운 대안을 안내하나요, 아니면 아는 척을 하나요?
• 실제 예약: 진짜로 예약을 잡아 보고, 그 예약이 있어야 할 자리에 들어오는지 확인하세요. 나에게 닿지 않는 예약은 놓친 전화보다 나쁩니다.

시나리오는 매달 돌려 가며 바꾸세요. 그러지 않으면 같은 무난한 경로만 평생 시험하게 됩니다. 통화는 짧게. 감사가 아니라 표본 추출이니까요. 그리고 중요한 것 하나. 끊자마자 솔직한 한 문장을 적어 두세요. 나라면 예약했을까, 아니면 끊고 다음 가게에 걸었을까? 그 직감이 나중에 매기는 어떤 점수보다 정확합니다.

2단계: 채점표를 들고 통화 기록 표본 점검

미스터리 콜은 내가 던진 질문을 상담원이 어떻게 다루는지 알려 줍니다. 통화 기록 표본 점검은 실제 발신자들이 무엇을 물었고 그것을 어떻게 처리했는지 알려 주죠. 실제 질문은 우리가 지어내는 어떤 것보다 늘 더 기이하고 더 다양합니다. Vunoon은 통화가 끝날 때마다 요약과 전체 통화 기록을 메일로 보내 주니, 재료는 이미 받은편지함에 쌓여 있습니다. 남은 건 그중 몇 건을 실제로 읽는 규칙성뿐입니다.

전부 읽지는 마세요. 점검이 죽는 가장 흔한 이유입니다. 최근 통화 중 다섯 건을 되도록 무작위로 고르세요. 무작위가 중요합니다. 뭔가 이상했던 통화만 골라 보면 상담원을 실제보다 나쁘게 평가하게 되고, 아무 일 없이 지나간 평범한 통화 속에서 작은 오류가 조용히 빠져나가는 것을 놓치게 됩니다.

다섯 건 모두 같은 짧은 채점표로 매기세요. 한 통화당 15초 안에 판단할 수 있는 항목만 남깁니다. 대부분의 소상공인에게 잘 맞는 채점표를 아래에 두었습니다. 그대로 가져다 쓰되 업종에 맞게 표현만 손보고, 매달 똑같은 표를 쓰세요. 그래야 숫자를 비교할 수 있습니다.

통화 다섯 건, 항목 다섯 개, 작은 판단 스물다섯 번. 5분이면 끝나고, 감으로는 얻을 수 없는 것을 줍니다. 바로 패턴이죠. 말투가 어색했던 통화 한 건은 잡음입니다. 다섯 중 넷이 정확성에서 걸리면 그건 신호입니다. 그리고 거의 언제나 프로필 안에서 낡아 버린 딱 한 가지를 가리킵니다.

정직함 항목은 특히 눈여겨보세요. 좋은 AI 상담원은 몰라도 됩니다. 우리가 쫓는 실패는 무지가 아니라, 완벽한 확신을 얹어 매끄럽게 내놓는 추측입니다. 통화 기록에서 그런 대목을 하나 찾아냈다면 그달의 가장 값진 수확입니다. 상담원이 다시는 그 지점에서 즉흥으로 지어내지 않도록 프로필에 무엇을 넣어야 하는지 정확히 알려 주니까요.

3단계: 얼마나 자주 바로잡았는지 세어 보기

미스터리 콜과 통화 기록 표본은 순간을 찍은 사진입니다. 정정 빈도는 추세선이고, 사장님이 기록할 숫자 중 가장 쓸모 있는 하나입니다. 정의는 간단합니다. 이번 달에 상담원이 발신자에게 한 말을 내가 바로잡거나, 다시 설명하거나, 대신 사과한 횟수는 몇 번인가?

이런 일은 현장에서 걸립니다. 손님이 와서 “거기 상담원이 30유로라고 하던데요”라고 말하는데 실제로는 아니거나, 예약이 엉뚱한 자리에 잡히거나, 몇 달 전에 접은 서비스를 누군가 언급하거나. 하나하나가 정정입니다. 셈은 촌스럽고 오래가는 곳에 적어 두세요. 휴대폰 메모, 스프레드시트 한 줄, 예약 장부 뒷장. 도구는 중요하지 않습니다. 꾸준함이 중요합니다.

보아야 할 것은 절댓값이 아닙니다. 어느 설정이든 한두 건은 나옵니다. 봐야 할 것은 방향입니다. 달마다 낮게 평평하다면 프로필과 사업이 맞물려 돌아간다는 뜻입니다. 슬금슬금 올라간다면 무언가 어긋났다는 연기입니다. 가격을 바꿨거나, 서비스를 추가했거나, 영업시간을 옮겼는데 상담원은 아직 옛 지도를 보고 일하는 중이죠.

직접 고칠 일인가, 알릴 일인가 — 가르는 법

이 루틴 전체가 향하는 지점이 바로 이 판단입니다. 문제를 찾았습니다. 프로필에서 내가 고칠 일일까요, 지원팀에 알릴 일일까요? 이 선을 잘 그으면 헛되이 넣는 문의도, 애초에 원인이 아니었던 설정을 다시 읽으며 날리는 오후도 아낄 수 있습니다.

기준은 이렇습니다. 상담원이 우리 사업에 대해 틀린 말을 했다면, 거의 언제나 프로필을 고칠 일입니다. 프로필에 무엇이 적혀 있든 상관없이 상담원이 이상하게 굴었다면 — 또렷한 말을 반복해서 잘못 알아듣거나, 통화가 끊기거나, 따라야 할 지시를 무시했다면 — 그때가 지원팀이 들어야 할 이야기입니다.

직접 고치세요 — 이런 경우라면

• 옛 가격이나 옛 가격대를 불렀다면 — 프로필의 금액을 갱신하세요.
• 새 서비스를 모르거나, 접은 서비스를 계속 안내한다면 — 프로필이 낡은 것입니다.
• 영업시간을 틀리게 안내했거나 휴무일을 몰랐다면 — 일정에 추가하거나 바로잡으세요.
• 자주 나오는 질문에 어색하게 답했다면 — 내가 할 법한 답을 그대로 적어 넣으세요. 그래야 즉흥으로 지어내지 않습니다.
• 채우고 싶지 않은 시간대에 예약을 잡았다면 — 설정해 둔 예약 가능 규칙을 더 좁히세요.

지원팀에 알리세요 — 이런 경우라면

• 또렷하게 말하는 발신자를 반복해서 잘못 알아듣거나, 발신자가 소리가 나빴다고 말한다면 — 프로필이 아니라 회선이나 연결 쪽 문제일 수 있습니다.
• 분명하고 올바르게 설정해 둔 지시를 무시한다면 — 예컨대 가격을 말하지 말라고 해 두었는데 계속 가격을 부르는 경우.
• 요약이나 통화 기록이 더 이상 오지 않거나, 전화가 기대한 대로 전달되지 않는 경우.
• 뭔가 이상한데 프로필이 맞다는 것을 정말로 확인했을 때. 지도는 맞는데 행동이 다르다면, 그건 그쪽에서 들여다볼 문제입니다.

솔직히 말하면, 사장님이 발견할 문제의 압도적 다수는 첫 번째 목록에 들어갑니다. 상담원을 흉보는 말이 아닙니다. 도구의 성질이 그렇습니다. 상담원은 내가 말해 준 것만 압니다. 품질 문제 대부분은 사실 정보 문제이고, 정보 문제는 어디를 볼지만 알면 30초면 끝납니다.

‘좋다’는 실제로 어떤 모습인가

목표를 분명히 해 두는 편이 좋습니다. 완벽을 좇다 보면 사람만 지치고 이 점검 자체가 무의미해지니까요. 좋은 AI 전화 응대란 모든 질문에 흠 없이 답하는 것이 아닙니다. 흔한 질문에는 잘 답하고 나머지에서는 안전하게 실패하는 것입니다. 모를 때는 모른다고 말하고, 내가 바로 처리할 수 있는 메시지를 받아 두는 것이죠.

진료 의자 두 대짜리 치과를 떠올려 보세요. 발신자가 이 치과에서는 다른 곳으로 의뢰하는 전문 임플란트 시술을 묻습니다. 모범 답안은 상담원이 자신 있게 틀린 설명을 지어내는 것이 아닙니다. “그 시술은 저희가 직접 하지는 않습니다. 연락처를 남겨 주시면 원장님이 다시 전화드려 어디로 가시면 좋을지 안내해 드리겠습니다.” 상담원이 “답을 몰랐음에도” 이 통화는 성공한 통화입니다. 메시지는 받았고, 발신자는 안심했고, 아무도 잘못된 정보를 듣지 않았으니까요.

그러니 통화 기록을 채점할 때, 깔끔하게 “메시지를 남겨 드릴게요”로 끝난 통화를 깎지 마세요. 그건 시스템이 제대로 작동한 겁니다. 점수를 깎아야 할 것은 아는 척, 빠뜨린 정보, 낡은 사실입니다. 기준은 믿을 수 있고 정직한가이지, 전지전능한가가 아닙니다. “모르겠습니다”라고 한 번도 말하지 않는 상담원은 더 믿을 게 아니라 덜 믿어야 합니다.

루틴을 진짜로 굴러가게 만들기

가장 좋은 점검 절차는 그만두지 않는 절차입니다. 그러니 민망할 만큼 가볍게 유지하세요. 이미 매달 하는 일에 붙이면 됩니다. 청구서 발행, 급여 정산, 부가세 정리 같은 것들이요. 새 습관을 요구하는 대신 있는 습관에 얹어 태우는 겁니다. 달력에 반복 알림을 하나 넣고 “전화 점검”처럼 지루하고 구체적인 이름을 붙이세요.

1. 1
   날짜를 고정하세요

   매달 같은 날. 첫째 주 월요일이든 마지막 금요일이든, 기억할 수 있는 날이면 됩니다. 의욕보다 예측 가능성이 이깁니다.
2. 2
   셈은 눈에 보이는 곳에

   정정 기록은 실제로 들여다보는 한 곳에 모으세요. 열어 보지 않는 문서에 들어가면 추세선은 그대로 죽습니다.
3. 3
   그 자리에서 고치세요

   미스터리 콜이나 통화 기록에서 낡은 사실이 드러나면 즉시 프로필을 갱신하세요. 결국 안 보게 될 할 일 목록에 적어 두지 말고요.
4. 4
   분기마다 추세를 보세요

   석 달에 한 번, 정정 횟수를 되돌아봅니다. 낮고 평평한가요? 그럼 됐습니다. 올라가나요? 구조적으로 뭔가 바뀐 겁니다. 한 번 제대로 파 보세요.

여기에는 관리자도, 대시보드도, 수식이 걸린 스프레드시트도 필요 없습니다. 필요한 건 사장님과 20분, 그리고 내 가게에 전화를 걸어 낯선 사람처럼 들어 볼 마음입니다. 그게 전부이고, 조용히 고객을 벌어다 주는 상담원과 조용히 고객을 잃게 하는 상담원의 차이가 거기서 갈립니다.

AI 전화 응대 품질에 대해 자주 묻는 질문