Sérhvert monetization teymi þekkir tilfinninguna: þið eruð sannfærð um að breyting á waterfall muni bæta tekjur, en um leið og þið ýtið henni í loftið haldið þið niðri í ykkur andanum. Hvað ef hún bakkar af? Hvað ef fill rate lækkar? Hvað ef þið hafið einmitt kostað fyrirtækið ykkar þúsundir dollara áður en þið takið eftir og afturkallið?
Þessi ótti er ekki órökréttur — hann er ástæðan fyrir því að flestir útgefendur skilja waterfall stillingar sínar ósnertar í marga mánuði í senn og skilja verulegar tekjur eftir á borðinu. Lausnin er ekki að hætta að gera breytingar. Hún er að prófa þær rétt áður en þeim er framfylgt að fullu.
Af hverju waterfall prófanir eru öðruvísi
A/B test á waterfall er ekki eins og að prófa lit á hnappi eða kynningarferli. Auglýsingatekjur eru eðli sínu samkvæmt hávaðasamar — þær sveiflast eftir klukkustund, vikudegi, árstíð og tugum annarra þátta. Breyting sem virðist vera 10 prósenta bæting á mánudegi gæti verið alfarið skýrð með venjulegum vikulegum sveiflum. Og ólíkt A/B testum á vörum þar sem slæm variant veldur aðeins örlítið verri notendaupplifun, getur slæm waterfall variant þýtt þúsundir dollara í töpuðum tekjum á dag.
Aðferðin við skiptingu umferðar
Öruggasta leiðin til að prófa waterfall breytingar er að skipta umferðinni milli núverandi stillingar (control) og fyrirhugaðrar breytingar (variant). Flestir mediation pallar — þar á meðal AppLovin MAX og Unity LevelPlay — styðja umferðarskiptingu sem gerir ykkur kleift að beina hlutfalli notenda í aðra waterfall stillingu.
Hvernig á að setja upp hreint próf
Byrjið á 90/10 skiptingu: 90 prósent umferðar heldur áfram á núverandi waterfall og 10 prósent fær nýju stillinguna. Þetta takmarkar áhættu ykkar við 10 prósent umferðar en gefur samt nægileg gögn til að greina marktækan mun. Keyrið testið í að minnsta kosti sjö daga til að ná vikulegum sveiflum í auglýsingaeftirspurn.
Hvað á að mæla
Mælið ekki bara eCPM. Fylgist með þessum mælingum fyrir báða hópana: heildartekjur á hverja þúsund daglega virka notendur (revenue per mille DAU), fill rate, meðal eCPM, impressions á hverja session og — sem er lykilatriði — notendahald. Waterfall breyting sem lyftir eCPM um 15 prósent en eykur hleðslutíma auglýsinga og lækkar 7 daga notendahald um 2 prósent er nettó neikvæð.
Aðferð holdout hópsins
Fyrir umfangsmeiri breytingar — eins og að bæta við eða fjarlægja eftirspurnarheimild, eða endurbyggja allan waterfall — notið holdout hóp. Haldið 20 prósentum umferðar á gömlu stillingunni varanlega (eða út prófunartímann) og setjið nýju stillinguna á hin 80 prósentin. Þetta gefur ykkur stöðugt viðmið til að bera saman við, sem er sérstaklega dýrmætt fyrir breytingar þar sem áhrifin gætu tekið vikur að koma að fullu í ljós.
Stigvaxandi útrás
Þegar test sýnir jákvæðar niðurstöður á 10 prósentum, ýtið ekki strax í 100 prósent. Aukið í 25 prósent í nokkra daga, síðan 50, síðan 75, síðan 100. Hvert skref gefur ykkur eftirlitsstöð til að staðfesta að bætingin haldi á hærri umferðarmagni og til að grípa vandamál sem koma aðeins fram í stórum stíl — eins og eftirspurnaraðila sem stendur sig vel við lítið magn en getur ekki haldið fill rate þegar hann fær meiri umferð.
Útgefendur sem stöðugt auka auglýsingatekjur sínar eru ekki þeir sem gera djörfustu breytingarnar — þeir eru þeir sem prófa hverja breytingu aðferðafræðilega og skuldbinda sig aðeins sigurvegurum. Litlar, staðfestar bætingar magnast upp í gríðarlegan ávinning með tímanum.
Algeng prófunarmistök
Of margar breytur í einu testi
Breytið einu atriði í hverju testi. Ef þið stillið samtímis gólfverð, bætið við nýrri eftirspurnarheimild og endurraðið waterfall forgangi, getið þið ekki rakið niðurstöðuna til einnar breytingar. Einangrið breyturnar.
Að ljúka testum of snemma
Auglýsingatekjur hafa veruleg áhrif af vikudegi. Test sem keyrir frá mánudegi til miðvikudags gefur aðra mynd en test sem nær yfir heila helgi. Keyrið alltaf test í að minnsta kosti sjö heila daga, helst fjórtán.
Að hunsa statistical significance
5 prósenta tekjubæting á litlum umferðarhluta gæti verið hávaði. Áður en þið lýsið yfir sigurvegara, tryggið að munurinn sé statistically significant — flestir mediation pallar veita confidence intervals, eða þið getið notað stöðluð tölfræðileg tæki til að sannreyna.
Að sjálfvirknivæða ferlið
Stýrður monetization samstarfsaðili getur keyrt stöðugar waterfall prófanir fyrir ykkar hönd, með sjálfvirkum kerfum sem skipta umferð, mæla niðurstöður og framfylgja sigurstillingum — allt án þess að krefjast þess að verkfræðiteymið ykkar setji upp og stýri prófunarinnviðum. Þetta breytir waterfall bestun úr einstaka handvirku ferli í stöðuga bætingarvél.