Маркетолог приносит отчёт. В шапке: конверсия рассылки двадцать два процента.
«Лучший результат за квартал.»
Двадцать два процента чего?
«Открытий.»
Открытие приносит выручку?
«Ну, нет. Но это показатель интереса.»
Сколько человек из этой рассылки дошло до зала?
«Сложно сказать. Касса с рассылкой не связана.»
Значит, у вас есть показатель интереса и нет показателя денег.
Меряют то, что легко мерить
Открытия и клики платформа показывает сама, красивыми графиками. Визиты считать неудобно: надо связывать рассылку с кассой. Так появляются отчёты, где рассылка работает отлично, а выручка не двигается.
Вторая ловушка тоньше. Часть пришедших пришла бы и без письма. Постоянный гость получил рассылку во вторник и пришёл в пятницу, как ходит каждую пятницу. Письмо ни при чём, но в отчёт он попал.
И третье, про которое молчат: отчёт делает тот, чью работу он оценивает. Контроль режет его результат вчетверо. Добровольно на это идут единицы.
Окно, контроль, вычитание
Шаг первый: окно атрибуции. Визит засчитывается рассылке, если случился в течение семи-десяти дней после отправки. Дольше это уже фантазия.
Шаг второй: контрольная группа. Перед отправкой откладываете случайные десять процентов базы, им письмо не уходит. Они показывают, сколько пришло бы само.
Шаг третий: вычитание. Из доли визитов получателей вычитаете долю визитов контроля.
Пример. База пять тысяч. Письмо ушло на четыре с половиной, контроль пятьсот. За десять дней пришли сто восемьдесят получателей, это четыре процента. Из контроля пришли пятнадцать человек, это три процента. Честный эффект: один процентный пункт, сорок пять визитов. Не сто восемьдесят.
При чеке тысяча семьсот письмо принесло семьдесят шесть с половиной тысяч, а не триста шесть, как показал бы отчёт без контроля. Разница вчетверо.
Контроль должен быть достаточным: меньше четырёхсот человек, и разница в пять визитов перевернёт вывод.
Дальше вычитаете затраты: скидка триста шестьдесят рублей на человека, это шестнадцать двести. Чистыми шестьдесят тысяч триста. Теперь цифру можно сравнить с рекламой, где семьсот рублей за визит дают на тех же деньгах двадцать три гостя вместо сорока пяти.
Порог: эффект после вычитания меньше трёх десятых процентного пункта, рассылка не сработала. Меняйте сегмент или предложение, а не шрифт кнопки.
Контрольная группа
Контроль ввели с третьей рассылки. Эффект вышел ноль целых восемь десятых пункта.
Маркетолог принёс эту цифру собственнику сам, без напоминания. Я даже удивился.
Собственник посмотрел и спросил, почему было двадцать два, а стало ноль восемь.
Объяснять пришлось сорок минут. Через сорок минут собственник сказал: «Раньше работало лучше».
Контрольную группу отменили в июне. Отчёты снова красивые.