Каждая команда монетизации знает это чувство: вы уверены, что изменение waterfall улучшит доход, но в момент запуска задерживаете дыхание.
Почему тесты waterfall отличаются
A/B-тестирование waterfall — не то же, что тестирование цвета кнопки. Рекламный доход по природе шумный — колеблется по часам, дням недели, сезонам.
Подход разделения трафика
Начните с разделения 90/10: 90 процентов трафика на текущем waterfall, 10 процентов — на новой конфигурации. Тест минимум 7 дней.
Что измерять
Не только eCPM. Отслеживайте: общий доход на тысячу DAU, fill rate, средний eCPM, показы за сессию и удержание пользователей.
Инкрементальные развёртывания
После положительных результатов на 10 процентах — увеличьте до 25, затем 50, 75, затем 100.
Издатели, последовательно наращивающие доход — не те, кто делает самые смелые изменения, а те, кто тестирует каждое изменение методично.