Çdo ekip monetizimi e njeh këtë ndjenjë: jeni të bindur se një ndryshim në waterfall do t'i përmirësojë të ardhurat, por në momentin që e lëshoni në prodhim, mbani frymën. Po sikur të kthehet kundër? Po sikur fill rate të bjerë? Po sikur sapo t'i keni kushtuar kompanisë suaj mijëra dollarë gjatë kohës që duhet për ta vënë re dhe për ta kthyer pas?
Ky frik nuk është irracional — është arsyeja pse shumica e botuesve i lënë konfigurimet e tyre waterfall të paprekura për muaj të tërë, duke lënë të ardhura të konsiderueshme mbi tryezë. Zgjidhja nuk është të ndaloni së bëri ndryshime. Zgjidhja është t'i testoni ato si duhet para se t'i zbatoni plotësisht.
Pse testimi i waterfall është i ndryshëm
A/B testi i një waterfall nuk është si testimi i ngjyrës së një butoni ose i një rrjedhe onboarding. Të ardhurat nga reklamat janë nga natyra të zhurmshme — ato luhaten sipas orës, ditës së javës, sezonit dhe dhjetëra faktorëve të tjerë. Një ndryshim që duket si një përmirësim 10 përqind të hënën mund të shpjegohet tërësisht me variacionin normal javor. Dhe ndryshe nga A/B testet e produktit ku një variant i keq shkakton vetëm një përvojë pak më të keqe për përdoruesin, një variant i keq waterfall mund të nënkuptojë mijëra dollarë të ardhura të humbura në ditë.
Qasja e ndarjes së trafikut
Mënyra më e sigurt për të testuar ndryshimet në waterfall është ndarja e trafikut midis konfigurimit aktual (control) dhe ndryshimit të propozuar (variant). Shumica e platformave mediation — përfshirë AppLovin MAX dhe Unity LevelPlay — mbështesin segmentimin e trafikut që ju lejon të drejtoni një përqindje të përdoruesve në një konfigurim tjetër waterfall.
Si të ngrihet një test i pastër
Filloni me një ndarje 90/10: 90 përqind e trafikut vazhdon në waterfall-in tuaj aktual dhe 10 përqind merr konfigurimin e ri. Kjo e kufizon rrezikun tuaj në 10 përqind të trafikut, ndërsa ju jep të dhëna të mjaftueshme për të zbuluar dallime të rëndësishme. Ekzekutoni testin për të paktën shtatë ditë për të kapur ciklin javor të kërkesës për reklama.
Çfarë të matni
Mos matni vetëm eCPM. Gjurmoni këto metrika për të dy grupet: të ardhurat totale për një mijë përdorues aktivë ditorë (revenue per mille DAU), fill rate, eCPM mesatar, impression për sesion dhe — gjëja më kritike — retention e përdoruesve. Një ndryshim waterfall që e rrit eCPM me 15 përqind por rrit kohën e ngarkimit të reklamave dhe e ul retention 7-ditor me 2 përqind është negativ neto.
Metoda e grupit holdout
Për ndryshime më të rëndësishme — si shtimi ose heqja e një demand source, ose ristrukturimi i të gjithë waterfall-it — përdorni një grup holdout. Mbajeni 20 përqind të trafikut në konfigurimin e vjetër përgjithmonë (ose për kohëzgjatjen e testit) dhe hidheni konfigurimin e ri te 80 përqindja e mbetur. Kjo ju jep një baseline të vazhdueshëm për t'u krahasuar, gjë që është veçanërisht e vlefshme për ndryshime ndikimi i të cilave mund të marrë javë të tëra për t'u materializuar plotësisht.
Lëshimet graduale
Pasi një test tregon rezultate pozitive në 10 përqind, mos kaloni menjëherë në 100 përqind. Rriteni në 25 përqind për disa ditë të tjera, pastaj 50, pastaj 75, pastaj 100. Çdo hap ju jep një checkpoint për të verifikuar se përmirësimi qëndron në vëllime më të larta trafiku dhe për të kapur çdo problem që del vetëm në shkallë — si një demand partner që performon mirë në vëllim të ulët por nuk mund ta mbajë fill rate kur i jepet më shumë trafik.
Botuesit që i rrisin vazhdimisht të ardhurat nga reklamat nuk janë ata që bëjnë ndryshimet më të guximshme — janë ata që e testojnë çdo ndryshim në mënyrë metodike dhe i angazhohen vetëm fituesve. Përmirësimet e vogla të vërtetuara me kohë shtohen në fitime të mëdha.
Gabimet e zakonshme në testim
Testimi i shumë ndryshoreve në të njëjtën kohë
Ndryshoni një gjë për test. Nëse njëkohësisht rregulloni floor prices, shtoni një demand source të ri dhe riorganizoni përparësitë e waterfall, nuk mund t'ia atribuoni rezultatin asnjë ndryshimi të vetëm. Izoloni ndryshoret.
Përfundimi i testeve shumë herët
Të ardhurat nga reklamat kanë efekte të rëndësishme sipas ditës së javës. Një test që zhvillohet nga e hëna deri të mërkurën do t'ju japë një pamje të ndryshme nga ai që përfshin një fundjavë të plotë. Gjithmonë ekzekutoni testet për të paktën shtatë ditë të plota, idealisht katërmbëdhjetë.
Injorimi i statistical significance
Një përmirësim 5 përqind i të ardhurave në një segment të vogël trafiku mund të jetë zhurmë. Para se të shpallni një fitues, sigurohuni që dallimi është statistically significant — shumica e platformave mediation ofrojnë confidence intervals, ose mund të përdorni mjete standarde statistikore për ta verifikuar.
Automatizimi i procesit
Një partner monetizimi i menaxhuar mund të zhvillojë teste waterfall të vazhdueshme në emrin tuaj, duke përdorur sisteme të automatizuara që e ndajnë trafikun, matin rezultatet dhe promovojnë konfigurimet fituese — të gjitha pa kërkuar që ekipi juaj i inxhinierisë të ngrejë dhe menaxhojë infrastrukturën e testimit. Kjo e kthen optimizimin e waterfall nga një proces manual i rastësishëm në një motor përmirësimi të vazhdueshëm.