Jokainen monetisointitiimi tuntee tunteen: olet varma että waterfall-muutos parantaa tuloja, mutta julkaisuhetkellä pidätät hengitystä.
Miksi waterfall-testit ovat erilaisia
Waterfallin A/B-testaus ei ole kuin napin värin testaus. Mainostulot ovat luonteeltaan kohinaisia.
Liikenteen jakaminen
Aloita 90/10-jaolla. Aja testi vähintään seitsemän päivää.
Mitä mitata
Ei vain eCPM:ää. Kokonaistulo tuhatta DAU:ta kohden, täyttöaste, keskimääräinen eCPM, näytöt per sessio ja käyttäjien säilyvyys.
Vaiheittainen käyttöönotto
Positiivisten tulosten jälkeen 10 prosentilla, nosta 25, 50, 75, sitten 100.
Tasaisesti kasvavat julkaisijat testaavat jokaisen muutoksen järjestelmällisesti ja sitoutuvat vain voittajiin.