A/B-тестирование (A/B testing, Split testing) — метод маркетингового исследования, суть которого заключается в том, что контрольная группа элементов сравнивается с набором тестовых групп, в которых один или несколько показателей в offer-е были изменены, для того, чтобы выяснить, какие из изменений улучшают целевой показатель, например hit rate, revenue, profit и т.д.

Примеры:

  • Сравнение различных скидок, например, 20% и 50% и определение оптимальной скидки
  • Сравнение двух offer-ов с разной механикой для определения оптимального предложения
  • Иногда проводят более экзотические модификации, например, меняют цвет баннера, размер текста, расположение УТП
Кроме этого должны быть соблюдены ряд условий:
  • Выборка должна быть однородная. Мы должны понимать, что hit rate для разных подсегментов одного сегмента с одним и тем же offer-ом, одинаковый. Иногда говорят, что необходимо провести A/A тестирование, прежде чем приступить к A/B тестированию. Если условие нарушаются, результаты A/B тестирования по выбору оптимального offera непредсказуемы.
  • Offer должен быть применим для сегмента. Например, мы сравниваем скидку 30% и 20% на годовой абонемент и тестируем на абонентах, которые постоянно задерживают оплату, пропускают периоды оплат. Отклик будет столь мизерным, что результаты будут мало применимы, даже если будут отличаться на порядок.
  • Объем выборок при тестировании offer-ов должен быть статистически значимым, в идеале чем больше, тем лучше, в этом случае результаты будут более точными

Удачи вам! Прежде чем запускать сложный offer, неплохо бы его потестировать!