Автор: Александра Зыбина
Александра Зыбина, маркетолог и практик внедрения ИИ в бизнес. 17 лет в маркетинге, более 10 лет управленческого опыта, включая собственный бизнес с 2013 года. Создаёт ИИ-инструменты для маркетинга и продаж, обучает предпринимателей и команды.
Помощник ответил клиенту и получил телефон. Что можно записать в отчёт: «ИИ работает», «получен контакт» или «выросли продажи»?
Второе утверждение можно проверить по диалогу. Для первого нужно определить, что именно считали работой. А для третьего — посмотреть, что произошло после передачи контакта человеку.
Разобраться помогает таблица, в которой видны отдельные этапы обращения. Она нужна до красивого итогового процента: сначала фиксируем наблюдения, затем делаем выводы.
Определите участок работы
Для MosCarFinance, компании по аренде и выкупу автомобилей, я создала ИИ-консультанта для обращений с Авито и сама подключила Битрикс24 по API. Консультант уточняет запрос, получает телефон, проверяет дубли и передаёт данные в CRM.
В замере 59 ночных диалогов конверсия в получение телефона составила 56%. Это результат конкретного действия в конкретной выборке. Он не показывает число оплаченных сделок и не позволяет сам по себе рассчитать окупаемость.
Так и стоит сформулировать задачу перед проверкой: «Ассистент должен уточнить обращение, получить нужные данные и передать их для продолжения работы». Если в вашем процессе требуется другое действие, изменится и критерий результата. Например, для помощника интернет-магазина это может быть ответ на вопрос о комплектации с передачей сложного случая сотруднику.
Выберите, что будет одной строкой
Не смешивайте сообщения, диалоги и покупателей. Один человек может написать десять сообщений, оставить телефон дважды и попасть в CRM уже существующим контактом.
Для проверки диалогов одна строка может соответствовать одному выбранному диалогу с внутренним идентификатором. Для анализа уникальных обращений понадобятся правила объединения повторов. Их нужно зафиксировать до подсчёта: иначе число результатов начнёт меняться вместе со способом группировки.
Запишите границы выборки: период, канал, часы, включённые обращения и причины исключения. Тестовые диалоги, спам и повторы не стоит удалять из таблицы бесследно. Отметьте, почему конкретная строка не вошла в итоговый расчёт.
Соберите таблицу движения обращения
Ниже шаблон, который можно повторить в таблице или CRM. Это предлагаемая структура учёта, а не выгрузка MosCarFinance.
| Поле | Что фиксировать | Зачем |
|---|---|---|
| Идентификатор обращения | Внутренний номер без публикации персональных данных | Найти исходный диалог и проверить подсчёт |
| Дата, время, канал | Параметры попадания в выборку | Не сравнивать разные условия незаметно для себя |
| Включено в расчёт | Да/нет и причина исключения | Видеть состав знаменателя |
| Телефон получен | Да/нет; при необходимости отдельно корректность контакта | Измерить конкретное действие ассистента |
| Передача в CRM | Создана или найдена карточка, есть нужные поля | Проверить передачу данных, а не только текст ответа |
| Дубль | Найден ли существующий контакт, по какому правилу | Не выдавать повторную запись за нового клиента |
| Продолжение сотрудником | Кто принял обращение и когда продолжил общение | Найти разрыв после работы ИИ |
| Следующий этап | Квалификация, предложение, отказ или другой статус вашего процесса | Видеть движение по воронке |
| Сделка и оплата | Подтверждённые события и суммы; неизвестное отмечать отдельно | Не подменять продажи контактами |
| Ошибка или ручная доработка | Что пришлось исправить и сколько работы потребовалось | Оценить качество и затраты на сопровождение |
Набор статусов должен соответствовать вашему бизнесу. Не нужно добавлять «назначена встреча», если у вас нет такого этапа. И не ставьте «нет оплаты», если вы просто не получили данные об оплате: отсутствие результата и отсутствие сведений о нём — разные состояния.
Посчитайте показатели каждого этапа
Конверсия в получение телефона считается так:
Число включённых обращений, в которых получен телефон / число всех включённых обращений × 100%.
Долю корректных передач в CRM можно считать от обращений с телефоном, если именно они должны передаваться. Конверсию в оплату — от обращений, контактов или предложений. В каждом случае подпишите знаменатель. Два процента с разными знаменателями нельзя читать как одну и ту же метрику.
Для опубликованного результата MosCarFinance подтверждены размер выборки 59 ночных диалогов и 56% получения телефона. Точные количества по дальнейшим стадиям в этом замере не представлены. Поэтому заполнять их расчётными предположениями нельзя. В частности, по округлённому проценту не нужно восстанавливать точное число контактов и выдавать его за исходное наблюдение.
К итоговой цифре добавляйте подпись: что считали, за какой период, на какой выборке и в каких условиях. Это короткое пояснение защищает управленческое решение лучше, чем слово «эффективность» без расшифровки.
Не сравнивайте ночь с общим средним без проверки
Если до внедрения сотрудники обрабатывали обращения днём, а ИИ проверяли ночью, прямое сравнение процентов будет неполным. Могут различаться состав аудитории, типы вопросов, предложения, скорость ответа и правила исключения повторов.
Чтобы оценить изменение, сначала приведите условия к сопоставимому виду. Зафиксируйте одинаковое действие, единицу наблюдения и правила расчёта. Затем проверьте различия между группами. Даже после этого небольшой замер лучше считать ограниченным наблюдением, а не гарантией результата при любом объёме и канале.
Неудачные диалоги тоже нужны в таблице. Иногда итог портит не формулировка помощника, а отсутствие сведений о продукте, неверная передача в CRM или задержка продолжения разговора. По одному общему проценту эти причины не различить.
Отдельно соберите расходы
В MosCarFinance ФОТ изменился с 200 до 60 тысяч рублей в месяц. Разница составляет 140 тысяч рублей. Это изменение фонда оплаты труда, а не подтверждённая чистая экономия всего проекта: расходы на ИИ нужно учитывать отдельно.
Для похожего расчёта соберите четыре группы затрат:
- Разработка, настройка, интеграция и подготовка исходных материалов.
- Подписки, использование моделей, инфраструктура и другие регулярные платежи.
- Сопровождение: проверка диалогов, обновление данных, исправления и работа людей.
- Сохранённые расходы прежнего процесса, включая продолжение общения после передачи контакта.
Разовые и ежемесячные затраты покажите раздельно. Если распределяете разовые вложения на несколько месяцев, подпишите выбранный период. Время сотрудников тоже нужно сравнивать до и после: проверка работы существовала и до автоматизации, её нельзя автоматически принять за ноль.
Чтобы говорить об окупаемости за счёт дополнительных продаж, потребуются сведения об оплаченных сделках, маржинальном результате и расходах. Число полученных телефонов этих данных не заменяет.
Используйте таблицу для следующего решения
После проверки у руководителя должно появиться не только число, но и понятное действие. Например:
- ИИ получает контакты, но карточки неполные — проверить состав передачи и обязательные поля.
- Передача корректна, а сотрудник не продолжает разговор — разобраться с ответственностью и порядком обработки.
- Ответы содержат неверные условия — обновить исходные сведения и повторить проверку на таких вопросах.
- Контакты есть, но данных о сделках нет — сначала наладить учёт следующих этапов, затем оценивать продажи.
Это примеры диагностических ситуаций, не результаты проверок MosCarFinance. Их задача — показать, как связать наблюдение с работой команды.
Начните с одного канала и одной функции ассистента. Сохраните исходные диалоги в доступном ответственным сотрудникам месте, опишите правила выборки, заполните таблицу и проверьте несколько строк вручную. Когда определения и данные согласованы, общий показатель станет понятнее. А главное — будет видно, что нужно улучшать дальше.
Об авторе и проектах: zybina-aleksandra.ru