Kiekviena monetizacijos komanda žino tą jausmą: esate įsitikinę, kad waterfall pakeitimas pagerins pajamas, bet tą akimirką, kai jį paleidžiate į produkciją, sulaikote kvapą. O jei jis atsisuks prieš jus? O jei fill rate kris? O jei ką tik padarėte savo įmonei tūkstančių dolerių nuostolių per tą laiką, kol pastebėsite ir atšauksite?
Ši baimė nėra neracionali — tai priežastis, dėl kurios dauguma leidėjų palieka savo waterfall konfigūracijas neliečiamas ištisus mėnesius, tokiu būdu palikdami ant stalo nemenkas pajamas. Sprendimas nėra nustoti atlikti pakeitimus. Sprendimas yra juos tinkamai ištestuoti prieš galutinai įgyvendinant.
Kodėl waterfall testavimas yra kitoks
Waterfall A/B testas nėra tas pats, kas mygtuko spalvos ar onboarding srauto testavimas. Reklamos pajamos iš prigimties yra triukšmingos — jos svyruoja pagal valandą, savaitės dieną, sezoną ir dešimtis kitų veiksnių. Pakeitimas, kuris pirmadienį atrodo kaip 10 procentų pagerėjimas, gali būti visiškai paaiškintas įprastu savaitės svyravimu. Ir skirtingai nuo produkto A/B testų, kur bloga variant sukelia tik šiek tiek blogesnę naudotojo patirtį, bloga waterfall variant gali reikšti tūkstančių dolerių prarastų pajamų per dieną.
Srauto padalijimo metodas
Saugiausias būdas testuoti waterfall pakeitimus yra padalinti srautą tarp dabartinės konfigūracijos (control) ir siūlomo pakeitimo (variant). Dauguma mediation platformų — įskaitant AppLovin MAX ir Unity LevelPlay — palaiko srauto segmentavimą, leidžiantį nukreipti tam tikrą naudotojų procentą į kitokią waterfall konfigūraciją.
Kaip sukonfigūruoti švarų testą
Pradėkite nuo 90/10 padalijimo: 90 procentų srauto toliau eina per dabartinį waterfall, o 10 procentų gauna naują konfigūraciją. Tai apriboja jūsų rizikos potencialą iki 10 procentų srauto, tuo pačiu suteikdamas pakankamai duomenų reikšmingiems skirtumams aptikti. Vykdykite testą bent septynias dienas, kad pagautumėte savaitės ciklą reklamos paklausoje.
Ką matuoti
Nematuokite vien tik eCPM. Sekite šias metrikas abiem grupėms: bendras pajamas tūkstančiui kasdien aktyvių naudotojų (revenue per mille DAU), fill rate, vidutinį eCPM, impression per sesiją ir — svarbiausia — naudotojų retention. Waterfall pakeitimas, kuris padidina eCPM 15 procentų, bet padidina reklamų įkėlimo laiką ir sumažina 7 dienų retention 2 procentais, yra grynai neigiamas.
Holdout grupės metodas
Reikšmingesniems pakeitimams — pavyzdžiui, pridedant ar šalinant demand source arba pertvarkant visą waterfall — naudokite holdout grupę. Palaikykite 20 procentų srauto senojoje konfigūracijoje nuolat (arba testo trukmei) ir paleiskite naują konfigūraciją likusiems 80 procentų. Tai suteikia nuolatinį atskaitos tašką palyginimui, o tai ypač vertinga pakeitimams, kurių poveikis gali pasireikšti visiškai tik po kelių savaičių.
Laipsniškas diegimas
Kai testas parodo teigiamus rezultatus 10 procentų, iš karto nepereikite į 100 procentų. Padidinkite iki 25 procentų dar kelioms dienoms, paskui 50, paskui 75, paskui 100. Kiekvienas žingsnis suteikia jums checkpoint, kad patikrintumėte, ar pagerėjimas išlieka esant didesniam srautui, ir kad pagautumėte problemas, kurios atsiranda tik dideliu mastu — pavyzdžiui, demand partner, kuris gerai veikia esant mažam srautui, bet negali išlaikyti fill rate, kai jam suteikiama daugiau srauto.
Leidėjai, kurie nuosekliai augina savo reklamos pajamas, nėra tie, kurie daro drąsiausius pakeitimus — jie yra tie, kurie kiekvieną pakeitimą testuoja metodiškai ir įsipareigoja tik nugalėtojams. Maži, patvirtinti pagerinimai laikui bėgant susideda į didžiulius laimėjimus.
Dažnos testavimo klaidos
Per daug kintamųjų viename teste
Keiskite vieną dalyką per testą. Jei vienu metu koreguojate floor prices, pridedate naują demand source ir pertvarkote waterfall prioritetus, negalėsite priskirti rezultato nė vienam konkrečiam pakeitimui. Izoliuokite kintamuosius.
Per ankstyvas testų nutraukimas
Reklamos pajamos turi reikšmingą savaitės dienos efektą. Testas, vykstantis nuo pirmadienio iki trečiadienio, duos jums kitokį vaizdą nei tas, kuris apima pilną savaitgalį. Visada vykdykite testus bent septynias pilnas dienas, idealiu atveju keturiolika.
Statistical significance ignoravimas
5 procentų pajamų pagerėjimas mažame srauto segmente gali būti triukšmas. Prieš paskelbdami nugalėtoją, įsitikinkite, kad skirtumas yra statistically significant — dauguma mediation platformų pateikia confidence intervals, arba galite naudoti standartinius statistinius įrankius patikrinti.
Proceso automatizavimas
Valdomas monetizacijos partneris gali jūsų vardu vykdyti nuolatinius waterfall testus, naudodamas automatizuotas sistemas, kurios padalija srautą, matuoja rezultatus ir pristato laiminčias konfigūracijas — visa tai nereikalaujant, kad jūsų inžinerijos komanda kurtų ir valdytų testavimo infrastruktūrą. Tai paverčia waterfall optimizavimą iš retkartinio rankinio proceso į nuolatinio tobulinimo variklį.