Маркетолог доволен.
«Акция дала плюс тридцать процентов возвратов.»
А сколько вернулось бы без акции?
«Без акции? Никто бы не вернулся.»
Совсем никто? Гости иногда возвращаются сами. Особенно в декабре.
«Ну, сезон помог. Но акция же работала.»
Возможно. А возможно, работал декабрь, а акция стояла рядом.
«И как это разделить?»
Контрольной группой.
«Звучит скучно.»
После не значит вследствие
Каждая акция запускается в живом потоке: сезон, зарплаты, погода, каникулы. Поток двигает выручку сам по себе. Акция шла в декабре, значит, к её результату приписан весь декабрь.
Маркетолог делает это искренне: он видел рост после запуска и сделал вывод.
Единственный способ отделить акцию от сезона это оставить часть сегмента без акции. Обе группы живут в одном и том же декабре. Разница между ними и есть чистый эффект. Всё остальное случилось бы и так, бесплатно.
Десять процентов, которые меняют бюджет
Сегмент акции: две тысячи гостей. Отрезаете случайные десять процентов, двести человек, им не уходит ничего. Остальные тысяча восемьсот получают предложение.
Через две недели считаете. В контроле вернулись сами восемнадцать человек, это девять процентов. В основной группе двести пятьдесят два, это четырнадцать. Чистый эффект пять процентных пунктов, а не четырнадцать.
В рубли: тысяча восемьсот умножить на пять сотых, девяносто гостей. При чеке тысяча триста выручка от акции сто семнадцать тысяч. Без контроля вы отчитались бы о двухстах пятидесяти двух гостях и трёхстах двадцати семи тысячах шестистах рублях и втрое переоценили акцию.
Минимальный контроль: десять процентов сегмента, но не меньше ста пятидесяти человек. Сегмент меньше полутора тысяч, поднимайте до пятнадцати процентов.
Контроль нужен не для отчёта, а для порога. Пока не знаете фон, не знаете, что считать успехом. Девять процентов возвращаются сами, значит, акция с результатом одиннадцать это провал, хотя в отчёте выглядит бодро.
И накопленный счёт. Четыре акции в год, каждая переоценена втрое, бюджет следующего года строится на цифре втрое больше настоящей. Просите миллион двести, отработаете на четыреста тысяч.
Двести человек
Контроль ввели. Двести человек купона не получили.
Через неделю позвонила женщина из этих двухсот. Спросила, почему её подруге пришло, а ей нет.
Маркетолог объяснил, что это случайная выборка.
Женщина сказала, что ходит семь лет, а подруга второй месяц.
Купон ей выслали в тот же час. Выборка перестала быть случайной, и мы этого не заметили до конца квартала.