Hər monetizasiya komandası bu hissi tanıyır: waterfall dəyişikliyinin gəliri yaxşılaşdıracağına əminsiniz, amma onu işə saldığınız anda nəfəsinizi saxlayırsınız. Bəs əgər əks nəticə versə? Bəs əgər fill rate düşsə? Bəs əgər bunu fərq edib geri qaytarana qədər şirkətinizə minlərlə dolara başa gəlsə?
Bu qorxu məntiqsiz deyil — məhz buna görə də əksər publisher-lər waterfall konfiqurasiyalarını aylarla toxunmadan saxlayır və masada xeyli revenue qoyurlar. Həll dəyişiklikləri dayandırmaq deyil. Həll onları bütün istifadəçi bazasına tətbiq etməzdən əvvəl düzgün test etməkdir.
Waterfall testi niyə fərqlidir
Waterfall üçün A/B test düymə rəngini və ya onboarding axını test etmək kimi deyil. Reklam revenue-su təbiətcə səs-küylüdür — saata, həftənin gününə, mövsümə və onlarla digər amilə görə dəyişir. Bazar ertəsi 10 faizlik yaxşılaşma kimi görünən dəyişiklik tamamilə normal həftəlik dəyişkənliklə izah oluna bilər. Məhsul A/B testlərindən fərqli olaraq, burada pis variant istifadəçi təcrübəsini bir az pisləşdirir, pis waterfall variantı isə gündə minlərlə dollar itirilmiş revenue demək ola bilər.
Trafik bölmə yanaşması
Waterfall dəyişikliklərini test etməyin ən təhlükəsiz yolu trafiki mövcud konfiqurasiya (control) ilə təklif olunan dəyişiklik (variant) arasında bölməkdir. AppLovin MAX və Unity LevelPlay daxil olmaqla əksər mediation platformaları istifadəçilərin müəyyən faizini fərqli waterfall konfiqurasiyasına yönəltməyə imkan verən trafik seqmentasiyasını dəstəkləyir.
Təmiz test necə qurulmalıdır
90/10 bölgü ilə başlayın: trafikin 90 faizi mövcud waterfall-da qalır, 10 faizi isə yeni konfiqurasiyanı alır. Bu, aşağı düşmə riskini trafikin 10 faizi ilə məhdudlaşdırır və eyni zamanda mənalı fərqləri aşkar etmək üçün kifayət qədər məlumat verir. Reklam demand-ındakı həftəlik dövriliyi tutmaq üçün A/B test-i ən azı yeddi gün işlədin.
Nəyi ölçməli
Sadəcə eCPM-i ölçməyin. Hər iki qrup üçün bu metrikləri izləyin: min daily active users başına ümumi revenue (revenue per mille DAU), fill rate, orta eCPM, sessiya başına impression və — ən əsası — istifadəçi saxlanması. eCPM-i 15 faiz artıran, lakin reklam yüklənmə vaxtını uzadıb 7 günlük saxlanmanı 2 faiz azaldan waterfall dəyişikliyi xalis mənfidir.
Holdout qrupu metodu
Daha əhəmiyyətli dəyişikliklər üçün — məsələn demand mənbəyini əlavə etmək və ya silmək, yaxud bütün waterfall-ınızı yenidən qurmaq — holdout qrupundan istifadə edin. Trafikinizin 20 faizini daimi olaraq (və ya test müddəti ərzində) köhnə konfiqurasiyada saxlayın və yeni konfiqurasiyanı qalan 80 faizə yayın. Bu, müqayisə etmək üçün davamlı baza xətti verir və təsiri tam formalaşmaq üçün həftələr çəkə bilən dəyişikliklər üçün xüsusilə dəyərlidir.
Mərhələli tətbiqlər
Test 10 faizdə müsbət nəticələr göstərəndən sonra dərhal 100 faizə keçməyin. Bir neçə gün daha 25 faizə, sonra 50, sonra 75 və nəhayət 100 faizə artırın. Hər addım yaxşılaşmanın daha yüksək trafik həcmlərində də qaldığını yoxlamaq və yalnız miqyasda ortaya çıxan problemləri tutmaq üçün yoxlama nöqtəsi verir — məsələn, kiçik həcmdə yaxşı işləyən, lakin daha çox trafik veriləndə fill rate-i saxlaya bilməyən demand partnyoru kimi.
Reklam revenue-sunu daim artıran publisher-lər ən cəsarətli dəyişiklikləri edənlər deyil — onlar hər dəyişikliyi metodik test edən və yalnız qalib gələnlərə sadiq qalanlardır. Kiçik, təsdiqlənmiş yaxşılaşmalar zaman keçdikcə böyük qazanclara çevrilir.
Ümumi test səhvləri
Bir anda çox dəyişən test etmək
Test başına bir şeyi dəyişdirin. Əgər eyni vaxtda minimum qiymətləri tənzimləyir, yeni demand mənbəyi əlavə edir və waterfall prioritetini dəyişdirirsinizsə, nəticəni heç bir konkret dəyişikliyə aid edə bilməzsiniz. Dəyişənləri izolə edin.
Testləri çox erkən bitirmək
Reklam revenue-sunun həftənin gününə görə əhəmiyyətli təsirləri var. Bazar ertəsindən çərşənbəyə qədər işləyən test sizə tam həftə sonunu əhatə edən testdən fərqli mənzərə verəcək. Testləri həmişə ən azı yeddi tam gün, ideal olaraq on dörd gün işlədin.
Statistical significance-i görməzdən gəlmək
Kiçik trafik seqmentində revenue-nun 5 faizlik yaxşılaşması səs-küy ola bilər. Qalibi elan etməzdən əvvəl fərqin statistik olaraq əhəmiyyətli olduğundan əmin olun — əksər mediation platformaları confidence interval təqdim edir və ya yoxlamaq üçün standart statistik vasitələrdən və p-value-dan istifadə edə bilərsiniz.
Prosesi avtomatlaşdırmaq
Managed monetizasiya partnyoru sizin adınızdan davamlı waterfall testləri apara bilər; trafiki bölən, nəticələri ölçən və qalib konfiqurasiyaları tərəqqi etdirən avtomatlaşdırılmış sistemlərdən istifadə edərək — mühəndislik komandanızdan test infrastrukturu qurmağı və idarə etməyi tələb etmədən. Bu, waterfall optimallaşdırmasını zaman-zaman yerinə yetirilən əl prosesindən davamlı təkmilləşmə mühərrikinə çevirir.