Маркетолог сдаёт отчёт с видом победителя.
«Рассылка принесла двести визитов. Вот выгрузка.»
А сколько пришло бы без письма?
«В смысле? Письмо же было.»
Постоянники ходят каждую неделю. Они тоже в этих двухстах?
Пауза.
«Ну да. Они же получатели.»
«А как их отделить? В голову к гостю не залезешь.»
В голову не надо.
Отчёт, который льстит всем
«Получил письмо и пришёл» удобен маркетологу: его работа видна. Удобен собственнику: деньги потрачены не зря.
Только совпадение это не причина. Гость, который ходит по пятницам, пришёл бы и без письма, отправленного во вторник. Чем лояльнее база, тем сильнее самообман: лучшие открывают все письма и ходят чаще всех, связь выглядит железной.
Второй слой в устройстве отчёта. Выгрузка «получил и пришёл» делается за пять минут: две таблицы, общее поле, готово. Контроль требует решения до отправки: отложить пятьсот человек надо было в понедельник, а вопрос задан в пятницу.
Коридор правды
Инструмент первый: контрольная группа. Перед отправкой откладываете случайные десять процентов базы, минимум четыреста-пятьсот человек, иначе цифры шумят. Им письмо не уходит. Чистый эффект это доля визитов получателей минус доля визитов контроля.
База пять тысяч: письмо получили четыре с половиной тысячи, контроль пятьсот. За десять дней пришли двести семьдесят получателей, шесть процентов. Из контроля двадцать четыре человека, четыре и восемь. Разница один и два пункта. Честная заслуга письма: пятьдесят четыре визита, а не двести семьдесят. При чеке тысяча семьсот это девяносто одна тысяча восемьсот, а не четыреста пятьдесят девять тысяч из отчёта.
Инструмент второй: кодовое слово в письме. Его назвали тридцать гостей. Промокод занижает: половина стесняется, половина забывает. Это нижняя граница, а не вклад. Истина в коридоре между тридцатью и пятьюдесятью четырьмя.
Что это меняет в деньгах. По дутому отчёту рассылка приносит четыреста пятьдесят девять тысяч и выглядит лучшим каналом. По честному девяносто одну и восемь. Скидка на двести семьдесят пришедших по триста шестьдесят рублей это девяносто семь двести. Канал, который в отчёте кормит заведение, работает в минус.
Решение по первой цифре: увеличить бюджет. По второй: сменить предложение. Разница между ними и есть цена контроля.
Порог реальности: разница больше пункта на базе от четырёх тысяч. Меньше это шум. И группы обязаны быть случайными: соберёте контроль из неактивных вручную, сравните живых с мёртвыми и восхититесь письмом.
Что было дальше
Контроль он завёл. Первая честная цифра вышла минус пять четыреста.
Отчёт собственнику ушёл в старом виде.
Я спросил зачем.
«В том квартале мы сокращали кухню. Вы предлагаете мне прийти и сказать, что я тоже лишний?»
Контроль он с тех пор ведёт для себя. Дома.