ყველა მონეტიზაციის გუნდს იცნობს ეს შეგრძნება: დარწმუნებული ხართ, რომ waterfall-ში ცვლილება შემოსავალს გააუმჯობესებს, მაგრამ გაშვების მომენტში სუნთქვას იკავებთ. რა მოხდება, თუ უკუეფექტს მოგვცემს? თუ fill rate დაეცემა? თუ კომპანიას ათასობით დოლარი დაგიჯდათ იმ დროში, რაც საჭიროა შესამჩნევად და უკან დასაბრუნებლად?
ეს შიში ირაციონალური არ არის — სწორედ ის არის მიზეზი, რის გამოც გამომცემლების უმეტესობა თავიანთ waterfall კონფიგურაციებს თვეების განმავლობაში ხელს არ ახლებს და მნიშვნელოვან შემოსავალს მაგიდაზე ტოვებს. გამოსავალი ცვლილებების შეჩერება არ არის. გამოსავალი მათი სწორად ტესტირებაა, სანამ მთლიანად დანერგავთ.
რატომ განსხვავდება waterfall ტესტირება
Waterfall-ის A/B ტესტი ღილაკის ფერის ან onboarding-ის ტესტირების მსგავსი არ არის. სარეკლამო შემოსავალი ბუნებით ხმაურიანია — ის მერყეობს საათის, კვირის დღის, სეზონის და ათეულობით სხვა ფაქტორის მიხედვით. ცვლილება, რომელიც ორშაბათს 10 პროცენტიანი გაუმჯობესება ჩანს, სრულად შეიძლება აიხსნას ჩვეულებრივი კვირეული ცვალებადობით. და განსხვავებით პროდუქტის A/B ტესტებისგან, სადაც ცუდი variant მხოლოდ ოდნავ უარესი გამოცდილებაა, ცუდი waterfall variant შესაძლოა ათასობით დოლარის დაკარგვას ნიშნავდეს დღეში.
ტრაფიკის გაყოფის მიდგომა
Waterfall ცვლილებების ტესტირების ყველაზე უსაფრთხო გზა არის ტრაფიკის გაყოფა მიმდინარე კონფიგურაციას (control) და შემოთავაზებულ ცვლილებას (variant) შორის. mediation პლატფორმების უმრავლესობა — მათ შორის AppLovin MAX და Unity LevelPlay — მხარს უჭერს ტრაფიკის სეგმენტაციას, რაც საშუალებას გაძლევთ მომხმარებლების გარკვეული პროცენტი განსხვავებულ waterfall კონფიგურაციაზე მიმართოთ.
როგორ მოვაწყოთ სუფთა ტესტი
დაიწყეთ 90/10 გაყოფით: ტრაფიკის 90 პროცენტი რჩება მიმდინარე waterfall-ზე, ხოლო 10 პროცენტი იღებს ახალ კონფიგურაციას. ეს თქვენს რისკს ტრაფიკის 10 პროცენტით ზღუდავს და მაინც საკმარის მონაცემებს გაძლევთ მნიშვნელოვანი განსხვავებების გამოსავლენად. ჩაატარეთ ტესტი მინიმუმ შვიდი დღე, რათა დააფიქსიროთ სარეკლამო მოთხოვნის კვირეული ციკლურობა.
რა უნდა გაზომოთ
მხოლოდ eCPM არ გაზომოთ. თვალი ადევნეთ ამ მეტრიკებს ორივე ჯგუფისთვის: მთლიანი შემოსავალი ყოველ ათას დღიურად აქტიურ მომხმარებელზე (revenue per mille DAU), fill rate, საშუალო eCPM, impression-ები სესიაზე და — რაც კრიტიკულია — მომხმარებლების retention. Waterfall ცვლილება, რომელიც eCPM-ს 15 პროცენტით აუმჯობესებს, მაგრამ რეკლამის ჩატვირთვის დროს ზრდის და 7-დღიან retention-ს 2 პროცენტით ამცირებს, საბოლოოდ უარყოფითია.
Holdout ჯგუფის მეთოდი
უფრო მნიშვნელოვანი ცვლილებებისთვის — როგორიცაა demand source-ის დამატება ან ამოღება, ან მთელი waterfall-ის გადაწყობა — გამოიყენეთ holdout ჯგუფი. ტრაფიკის 20 პროცენტი მუდმივად (ან ტესტის ხანგრძლივობაში) შეინარჩუნეთ ძველ კონფიგურაციაზე და ახალი კონფიგურაცია გაუშვით დარჩენილი 80 პროცენტისთვის. ეს გაძლევთ მუდმივ საბაზისო მონაცემს შესადარებლად, რაც განსაკუთრებით ღირებულია იმ ცვლილებებისთვის, რომელთა გავლენას შესაძლოა კვირები დასჭირდეს სრულად გამოვლენას.
ეტაპობრივი გაშვება
მას შემდეგ, რაც ტესტი 10 პროცენტზე დადებით შედეგებს აჩვენებს, მაშინვე ნუ გადახვალთ 100 პროცენტზე. გაზარდეთ 25 პროცენტამდე კიდევ რამდენიმე დღით, შემდეგ 50, შემდეგ 75, შემდეგ 100. თითოეული ნაბიჯი გაძლევთ checkpoint-ს, რათა დაადასტუროთ, რომ გაუმჯობესება უფრო მაღალ ტრაფიკზეც გრძელდება და რომ დაიჭიროთ პრობლემები, რომლებიც მხოლოდ მასშტაბზე ჩნდება — მაგალითად, demand partner, რომელიც დაბალ მოცულობაზე კარგად მუშაობს, მაგრამ მეტი ტრაფიკის მიცემისას ვერ ინარჩუნებს fill rate-ს.
გამომცემლები, რომლებიც თანმიმდევრულად ზრდიან სარეკლამო შემოსავალს, არ არიან ისინი, ვინც ყველაზე გაბედულ ცვლილებებს აკეთებენ — ისინი არიან, ვინც ყველა ცვლილებას მეთოდურად ამოწმებს და მხოლოდ გამარჯვებულებს ირჩევს. პატარა, დადასტურებული გაუმჯობესებები დროთა განმავლობაში უზარმაზარ მოგებად იყრიან თავს.
გავრცელებული ტესტირების შეცდომები
ძალიან ბევრი ცვლადის ერთდროული ტესტირება
თითო ტესტზე ერთი რამ შეცვალეთ. თუ ერთდროულად არეგულირებთ floor price-ებს, ამატებთ ახალ demand source-ს და waterfall-ის პრიორიტეტს გადააწყობთ, შედეგს ვერცერთ კონკრეტულ ცვლილებას ვერ მიაწერთ. იზოლირეთ ცვლადები.
ტესტების ნაადრევი დასრულება
სარეკლამო შემოსავალი კვირის დღის მნიშვნელოვან ეფექტს განიცდის. ტესტი, რომელიც ორშაბათიდან ოთხშაბათამდე მიმდინარეობს, სხვა სურათს გაძლევთ, ვიდრე ის, რომელიც მთელ შაბათ-კვირას მოიცავს. ყოველთვის ჩაატარეთ ტესტი მინიმუმ შვიდი სრული დღე, იდეალურად თოთხმეტი.
Statistical significance-ის უგულებელყოფა
5 პროცენტიანი შემოსავლის გაზრდა მცირე ტრაფიკის სეგმენტზე შესაძლოა ხმაური იყოს. გამარჯვებულის გამოცხადებამდე დარწმუნდით, რომ განსხვავება statistically significant-ია — mediation პლატფორმების უმეტესობა გაწვდით confidence intervals-ს, ან შეგიძლიათ გამოიყენოთ სტანდარტული სტატისტიკური ინსტრუმენტები შესამოწმებლად.
პროცესის ავტომატიზაცია
მართული მონეტიზაციის პარტნიორს შეუძლია თქვენი სახელით ჩაატაროს უწყვეტი waterfall ტესტები, ავტომატიზებული სისტემების გამოყენებით, რომლებიც ტრაფიკს ყოფენ, შედეგებს ზომავენ და გამარჯვებულ კონფიგურაციებს ახორციელებენ — ყველაფერი ეს თქვენი საინჟინრო გუნდის მონაწილეობის გარეშე. ეს waterfall-ის ოპტიმიზაციას ხანდახანდელი ხელით პროცესიდან უწყვეტი გაუმჯობესების ძრავად აქცევს.