Маркетолог Настя увлечена.
«Тестируем заголовки. Вариант А против варианта Б. На прошлой неделе Б победил на полпроцента.»
А во сколько ушли оба письма?
«Как обычно. В одиннадцать утра вторника.»
Неделю полируется полпроцента на заголовке. Час отправки, который двигает конверсию на проценты, не проверяли ни разу.
«Так заголовок же важнее.»
Почему тестируют лёгкое
Текст тестировать приятно. Это творчество, про него есть мнения, победа варианта ощущается как выигранный спор.
Время тестировать скучно. Нечего обсуждать на планёрке, нечем гордиться. Поэтому его назначают один раз по ощущению и больше не трогают.
Рычаги устроены наоборот. Заголовки двигают открываемость на доли процента, потому что оба варианта обычно из одного теста и одной головы. Час отправки двигает визиты в разы: письмо про ужин, прочитанное в одиннадцать утра, к пяти вечера забыто, а прочитанное в шестнадцать тридцать попадает в момент решения.
Порядок тестов по тяжести: время, сегмент, предложение, слова. Каждый следующий уровень слабее предыдущего, а начинают обычно с конца.
Три недели без платформы
Берёте один сегмент и одно письмо. Делите сегмент случайно на три части. Отправляете одно и то же в три времени: вторник одиннадцать утра, вторник шестнадцать тридцать, четверг шестнадцать тридцать. Считаете не открытия, а визиты за неделю по каждой части.
Разброс удивляет. Между худшим и лучшим временем бывает двукратная разница в визитах при идентичном тексте. Ни один заголовок такого не даст никогда.
Дальше закрепляете время и берётесь за сегмент. Одно письмо всем против трёх писем по сегментам с той же сутью. Опять визиты, опять разница в разы.
Требования к честному тесту, все три обязательны. Деление случайное, а не «старым так, новым эдак». Одно отличие за раз: письмо А утром против письма Б вечером не скажет ничего, победу не припишешь ни времени, ни тексту. Мера успеха это визит или бронь, а не открытие: открываемость это любопытство, а вам нужны гости.
Про размер выборки без математики. На сегменте в двести человек разница в три визита это шум, а не победа. Правило большого пальца: разница между вариантами меньше четверти, повторите тест, прежде чем объявлять победителя. Полпроцента на любой ресторанной базе это всегда шум.
Одна рассылка это один бросок. Повторите два-три раза: устойчивая разница подтвердится, случайная исчезнет.
Про шестнадцать тридцать
Настя прогнала тест. Четверг, шестнадцать тридцать, дал вдвое больше визитов, чем одиннадцать утра во вторник.
Она перенесла все рассылки на четверг.
Через месяц спросила, можно ли теперь потестировать заголовки.
Я сказал, что сегмент ещё не трогали.
«Сегмент скучный», ответила Настя и ушла тестировать заголовки.