Кожная каманда манетызацыі ведае гэтае адчуванне: вы ўпэўнены, што змена waterfall палепшыць прыбытак, але ў момант, калі вы запускаеце яе ў прадакшн, вы затрымліваеце дыханне. А што, калі гэта дасць адваротны эфект? А што, калі fill rate абваліцца? А што, калі вы толькі што каштавалі вашай кампаніі тысячы долараў за той час, пакуль заўважыце і адкаціце змену?
Гэты страх не ірацыянальны — менавіта з-за яго большасць publisher-аў не чапаюць свае канфігурацыі waterfall месяцамі, пакідаючы значны revenue на стале. Рашэнне — не спыняць змены. Рашэнне — правільна тэставаць іх, перш чым прымяняць да ўсёй карыстацкай базы.
Чаму тэсты waterfall адрозніваюцца
A/B тэставанне waterfall — не тое ж самае, што тэставанне колеру кнопкі ці патоку onboarding. Рэкламны revenue па сваёй прыродзе шумны — ён вагаецца ў залежнасці ад гадзіны, дня тыдня, сезону і дзесяткаў іншых фактараў. Змена, якая ў панядзелак выглядае як паляпшэнне на 10 адсоткаў, можа цалкам тлумачыцца звычайнай тыднёвай варыяцыяй. І ў адрозненне ад прадуктовых A/B тэстаў, дзе дрэнны варыянт выклікае крыху горшы карыстацкі вопыт, дрэнны варыянт waterfall можа азначаць тысячы долараў страчанага revenue у дзень.
Падзел трафіку
Самы бяспечны спосаб тэставання зменаў waterfall — падзяліць трафік паміж бягучай канфігурацыяй (control) і прапанаванай зменай (variant). Большасць mediation платформаў — уключаючы AppLovin MAX і Unity LevelPlay — падтрымліваюць сегментацыю трафіку, якая дазваляе накіроўваць працэнт карыстальнікаў у іншую канфігурацыю waterfall, пакідаючы астатніх у якасці кантрольнай групы.
Як наладзіць чысты тэст
Пачніце з падзелу 90/10: 90 адсоткаў трафіку застаецца на бягучым waterfall, а 10 адсоткаў атрымліваюць новую канфігурацыю. Гэта абмяжоўвае вашу рызыку падзення 10 адсоткамі трафіку і адначасова дае дастаткова дадзеных, каб выявіць значныя адрозненні. Запускайце A/B тэст мінімум на сем дзён, каб захапіць тыднёвую цыклічнасць у рэкламнай demand.
Што вымяраць
Не вымярайце толькі eCPM. Адсочвайце гэтыя метрыкі для абедзвюх груп: агульны revenue на тысячу daily active users (revenue per mille DAU), fill rate, сярэдні eCPM, impression за сесію і — што крытычна — утрыманне карыстальнікаў. Змена waterfall, якая павышае eCPM на 15 адсоткаў, але павялічвае час загрузкі рэкламы і зніжае 7-дзённае ўтрыманне на 2 адсоткі, з'яўляецца чыстым мінусам.
Метад групы holdout
Для больш значных зменаў — такіх, як даданне або выдаленне крыніцы demand, або рэструктурызацыя ўсяго вашага waterfall — выкарыстоўвайце групу holdout. Пакіньце 20 адсоткаў трафіку на старой канфігурацыі пастаянна (ці на працягу тэсту) і разгарніце новую канфігурацыю на астатнія 80 адсоткаў. Гэта дае вам устойлівы базавы ўзровень для параўнання, што асабліва каштоўна для зменаў, уплыў якіх можа цалкам праявіцца толькі праз тыдні.
Паступовыя разгортванні
Як толькі тэст паказвае станоўчыя вынікі на 10 адсотках, не адразу пераходзьце на 100 адсоткаў. Павялічце да 25 адсоткаў яшчэ на некалькі дзён, затым да 50, потым 75, потым 100. Кожны крок дае вам кантрольны пункт, каб пераканацца, што паляпшэнне ўтрымліваецца пры большых аб'ёмах трафіку, і злавіць любыя праблемы, якія з'яўляюцца толькі ў маштабе — напрыклад, demand партнёр, які добра працуе пры нізкім аб'ёме, але не можа падтрымліваць fill rate, калі атрымлівае больш трафіку.
Publisher-ы, якія стабільна нарошчваюць свой рэкламны revenue, — не тыя, хто робіць самыя смелыя змены, а тыя, хто метадычна тэстуе кожную змену і прымае толькі пераможцаў. Невялікія, правераныя паляпшэнні складаюцца ў велізарныя прырашчэнні з часам.
Тыповыя памылкі тэставання
Тэставанне занадта шмат зменных адразу
Змяняйце адну рэч за тэст. Калі вы адначасова карэктуеце мінімальныя цэны, дадаеце новую крыніцу demand і змяняеце прыярытэт waterfall, вы не можаце прыпісаць вынік нейкай адной змене. Ізалюйце зменныя.
Занадта ранняе завяршэнне тэстаў
Рэкламны revenue мае значныя эфекты дня тыдня. Тэст, які працуе з панядзелка па серада, дасць вам іншую карціну, чым той, што ўключае поўны выхадны. Заўсёды запускайце тэсты мінімум на сем поўных дзён, у ідэале на чатырнаццаць.
Ігнараванне statistical significance
Паляпшэнне revenue на 5 адсоткаў на невялікім сегменце трафіку можа быць шумам. Перш чым аб'яўляць пераможцу, пераканайцеся, што розніца статыстычна значная — большасць mediation платформаў даюць confidence interval, або вы можаце выкарыстаць стандартныя статыстычныя інструменты для праверкі p-value.
Аўтаматызацыя працэсу
Managed партнёр па манетызацыі можа запускаць бесперапынныя тэсты waterfall ад вашага імя, выкарыстоўваючы аўтаматызаваныя сістэмы, якія дзеляць трафік, вымяраюць вынікі і прасоўваюць канфігурацыі-пераможцы — і ўсё гэта без неабходнасці для вашай інжынернай каманды наладжваць і падтрымліваць інфраструктуру тэставання. Гэта пераўтварае аптымізацыю waterfall з эпізадычнага ручнога працэсу ў рухавік бесперапыннага паляпшэння.