Ар бир монетизация командасы бул сезимди билет: waterfall өзгөртүүсү кирешени жакшыртаарына ишенесиз, бирок аны өндүрүшкө чыгарган учурда демиңизди кармайсыз. Ал эми ал тескери натыйжа берсе? Ал эми fill rate түшсө? Ал эми сиз компанияңызга муну байкап, артка кайтара электе миңдеген доллар чыгым алып келсеңиз?
Бул коркуу негизсиз эмес — ошол себептен көпчүлүк басып чыгаруучулар өздөрүнүн waterfall конфигурацияларын айлап кол тийгизбестен калтырышат жана ошону менен кыйла кирешелерди столдо таштайт. Чечим өзгөртүүлөрдү токтотуу эмес. Чечим — аларды толук ишке киргизүүдөн мурун туура тестирлөө.
Waterfall тестирлөө эмне үчүн башкача
Waterfall-дын A/B тести баскычтын түсүн же onboarding агымын тестирлөөгө окшош эмес. Жарнама кирешеси табигый түрдө ызы-чуулуу — ал саат, аптанын күнү, мезгил жана ондогон башка факторлорго жараша термелет. Дүйшөмбүдө 10 пайыздык жакшаруу окшоп көрүнгөн өзгөрүү толугу менен кадимки жумалык вариация менен түшүндүрүлүшү мүмкүн. Ал эми продукттун A/B тестеринен айырмаланып, жаман variant жаман колдонуучу тажрыйбасын жаратса, жаман waterfall variant-ы күнүнө миңдеген доллар жоголгон кирешени билдирет.
Трафикти бөлүү ыкмасы
Waterfall өзгөртүүлөрүн тестирлөөнүн эң коопсуз жолу — трафикти учурдагы конфигурация (control) жана сунушталган өзгөртүү (variant) ортосунда бөлүү. Mediation платформаларынын көпчүлүгү — анын ичинде AppLovin MAX жана Unity LevelPlay — трафик сегментациясын колдоп, колдонуучулардын белгилүү пайызын башка waterfall конфигурациясына багыттоого мүмкүндүк берет.
Таза тестти кантип орнотуу керек
90/10 бөлүүдөн баштаңыз: трафиктин 90 пайызы учурдагы waterfall-да кала берет, ал эми 10 пайызы жаңы конфигурацияны алат. Бул сиздин тобокелчилигиңизди трафиктин 10 пайызына чейин чектейт жана ошол эле учурда мааниге ээ айырмачылыктарды аныктоо үчүн жетиштүү маалымат берет. Жарнама суроо-талабындагы жумалык циклдүүлүктү камтуу үчүн тестти кеминде жети күн жүргүзүңүз.
Эмнени өлчөө керек
Бир гана eCPM-ды өлчөбөңүз. Бул метрикаларды эки топ үчүн көз салыңыз: миң күнүмдүк активдүү колдонуучуга карата жалпы киреше (revenue per mille DAU), fill rate, орточо eCPM, сессияга impression-дер жана — эң маанилүү — колдонуучуларды кармап калуу. eCPM-ды 15 пайызга көтөрүп, бирок жарнама жүктөө убактысын көбөйтүп, 7 күндүк кармап калууну 2 пайызга төмөндөткөн waterfall өзгөртүүсү жалпы алганда терс.
Holdout тобунун ыкмасы
Дагы олуттуу өзгөртүүлөр үчүн — demand source кошуу же алып салуу, же бүт waterfall-ды кайра түзүү сыяктуу — holdout тобун колдонуңуз. Трафиктин 20 пайызын эски конфигурацияда туруктуу (же тесттин узактыгында) кармаңыз жана жаңы конфигурацияны калган 80 пайызга жайылтыңыз. Бул салыштыруу үчүн туруктуу базалык маанини берет, бул айрыкча таасири толук көрүнүү үчүн жумалар талап кылынышы мүмкүн болгон өзгөртүүлөр үчүн баалуу.
Этап-этап менен ишке киргизүү
Тест 10 пайызда оң натыйжаларды көрсөткөндөн кийин, дароо 100 пайызга өтпөңүз. Дагы бир нече күнгө 25 пайызга, анан 50, анан 75, анан 100-гө чейин көбөйтүңүз. Ар бир кадам сизге жакшырганын жогорку трафик көлөмүндө сакталганын тастыктоо үчүн checkpoint берет жана масштабда гана пайда болгон көйгөйлөрдү кармоого жардам берет — мисалы, аз көлөмдө жакшы иштеген, бирок көбүрөөк трафик берилгенде fill rate-ти сактай албаган demand partner.
Жарнама кирешесин туруктуу өстүргөн басып чыгаруучулар эң тайманбас өзгөртүүлөрдү кылгандар эмес — алар ар бир өзгөртүүнү методикалык түрдө тестирлеп, жеңүүчүлөргө гана берилишет. Чакан, тастыкталган жакшыртуулар убакыттын өтүшү менен зор пайдага айланат.
Көп кездешкен тестирлөө каталары
Бир эле учурда өтө көп өзгөрмөлөрдү тестирлөө
Бир тестке бир нерсени гана өзгөртүңүз. Эгер сиз бир эле учурда floor price-терди жөнгө салып, жаңы demand source кошуп, waterfall артыкчылыгын кайра иреттесеңиз, натыйжаны эч бир конкреттүү өзгөртүүгө таандык кыла албайсыз. Өзгөрмөлөрдү изоляциялаңыз.
Тесттерди өтө эрте токтотуу
Жарнама кирешесинин аптанын күнүнө байланыштуу олуттуу таасири бар. Дүйшөмбүдөн шаршембиге чейин иштеген тест сизге толук дем алыш күндөрүн камтыган тест менен салыштырганда башкача көрүнүш берет. Тесттерди ар дайым кеминде жети толук күн, эң жакшысы он төрт күн жүргүзүңүз.
Statistical significance-ти эске албоо
Чакан трафик сегментинде 5 пайыздык киреше өсүшү ызы-чуу болушу мүмкүн. Жеңүүчүнү жарыялоодон мурун, айырмачылыктын statistically significant экенине ишениңиз — mediation платформаларынын көпчүлүгү confidence intervals берет, же текшерүү үчүн стандарттык статистикалык куралдарды колдоно аласыз.
Процессти автоматташтыруу
Башкарылуучу монетизация өнөктөшү сиздин атыңыздан үзгүлтүксүз waterfall тесттерин жүргүзө алат, трафикти бөлгөн, натыйжаларды өлчөгөн жана жеңүүчү конфигурацияларды илгерилеткен автоматташтырылган системаларды колдонуу менен — мунун баары сиздин инженердик командаңыздан тест инфраструктурасын куруп, башкарууну талап кылбайт. Бул waterfall оптимизациясын анда-санда кол менен жасалуучу процесстен үзгүлтүксүз жакшыртуу кыймылдаткычына айлантат.