Что именно проверяет А/Б-тест, а не сравнивает два письма целиком
Два полностью разных письма не дают вывода: меняются и тема, и аргумент, и тон, и просьба в конце. Если один вариант получил больше ответов, неизвестно, что сработало. Нормальный тест отвечает на один вопрос: например, лучше ли руководители производства реагируют на повод, связанный с загрузкой мощностей, чем на повод о сроках поставки.
| Гипотеза | Вариант А | Вариант Б |
|---|---|---|
| Тема письма | Вопрос о текущей задаче | Краткое описание повода |
| Первый экран | Наблюдение о компании | Наблюдение об отраслевой ситуации |
| Следующий шаг | Предложить обменяться деталями | Предложить коротко сверить применимость |
Тест темы письма оценивают осторожно. Открытие ещё не означает интереса: ЛПР мог открыть письмо и закрыть его. Сильный вариант приносит понятные ответы: «пришлите условия», «кто уже решал такую задачу», «давайте обсудим после согласования бюджета». Подробнее о роли темы — в гайде о темах холодных писем.
Когда запускать проверку: до масштабирования, а не после спорного результата
Тест ставят, когда есть две правдоподобные версии одной задачи. Например, поставщик оборудования предполагает: коммерческому директору важнее снижение простоев, а главному инженеру — предсказуемость обслуживания. Это не повод отправлять одинаковое письмо всем. Это две отдельные гипотезы с разными адресатами и предметом разговора.
- Зафиксировать, какое решение должна подтвердить или опровергнуть проверка.
- Выбрать сопоставимые группы компаний и одну роль адресата.
- Оставить неизменными всё, кроме проверяемого элемента.
- Разобрать не только количество ответов, но и их смысл.
- Закрепить вывод в следующей волне либо снять гипотезу.
Плохой момент для теста — когда одновременно меняют сегмент, канал и оффер. Если письмо ушло другой аудитории в Telegram вместо email, результат нельзя приписать новому тексту. Для таких решений сначала определяют маршрут касаний; он описан в материале о многоканальном аутриче.
По каким ответам понять, что вариант действительно сильнее
Письмо с вопросом «актуально?» может собрать вежливые «нет, спасибо» и создать иллюзию вовлечения. Для бизнеса ценнее ответ, который продвигает разговор: просьба прислать детали, уточнение условий, передача нужному коллеге, согласие на предметный контакт. Сравнивают не шум в ящике, а готовность продолжать диалог.
В первом варианте письма подрядчик обещает «оптимизировать закупки». Во втором называет конкретную ситуацию: компания расширяет ассортимент и может пересматривать состав поставщиков. Второй текст получил меньше формальных ответов, но несколько ЛПР спросили о категориях и условиях работы. Приёмка не должна объявлять победителем вариант с большим числом коротких отказов: его задача — открыть разговор, а не выпросить реакцию.
- Есть ли в отчёте тексты и категории ответов, а не только сводные показатели.
- Отделены ли автоматические сообщения, отказы и предметный интерес.
- Понятно ли, что именно меняли между вариантами.
- Можно ли связать вывод теста со следующим действием кампании.
Если лид передаётся в продажу без причины обращения и текста переписки, проверка теряет смысл: нельзя увидеть, какие гипотезы дают предметные разговоры. Регламент передачи разбираем в гайде о передаче лидов в систему учёта клиентов.
Какие ошибки обнуляют результат проверки
Самая частая ошибка — объявить победителя после случайного всплеска. Другая — тестировать формулировку, когда сама ценность предложения неясна. Если адресат не понимает, зачем ему обсуждать услугу, перестановка слов в теме не исправит оффер.
Ещё один сбой возникает при смешении ролей. Финансовому директору и руководителю производства могут писать об одной услуге, но основания для ответа у них разные. Смешанный результат не показывает, какой аргумент проиграл; он показывает, что аудиторию описали слишком грубо. До тестов полезно проверить профиль идеального клиента и логику сегмента.
- У теста записан один проверяемый вопрос.
- Варианты различаются одним элементом.
- Группы сопоставимы по роли и типу компаний.
- Итог включает разбор содержательных ответов.
- После вывода понятна следующая версия кампании.
Где А/Б-тесты в аутриче не сработают
Тест не заменяет рыночный спрос. Если продукт трудно объяснить без долгой диагностики, если у компании нет ясного коммерческого предложения или продажа зависит от тендера, одно первое письмо не даст честной оценки потенциала. Оно может начать разведку, но не обязано создавать поток встреч.
Не подходит тестирование и там, где целевых компаний слишком мало для сопоставления вариантов: важнее вручную разобрать каждую реакцию и уточнить гипотезу. Для узкого списка аккаунтов применяется другой подход — работа по списку целевых компаний. Не стоит тестировать сообщения, пока не проверено качество контактов: ошибочный адрес или нерелевантная должность исказят любой вывод; эту часть закрывает валидация базы.
Мы формулируем гипотезу вместе с вашей командой, собираем сопоставимые группы, ведём сводку ответов и объясняем, какое решение подтверждают данные. После теста не оставляем таблицу ради таблицы: сильный вариант становится основой следующей волны, слабый снимается с работы.