Κάθε ομάδα monetization γνωρίζει το αίσθημα: είστε σίγουροι ότι μια αλλαγή waterfall θα βελτιώσει τα έσοδα, αλλά μόλις τη βγάλετε live, κρατάτε την αναπνοή σας. Τι γίνεται αν αποτύχει; Αν πέσουν τα fill rates; Αν μόλις κοστίσατε στην εταιρεία σας χιλιάδες δολάρια στον χρόνο που χρειάζεται για να το εντοπίσετε και να επαναφέρετε;
Αυτός ο φόβος δεν είναι παράλογος — είναι ο λόγος που οι περισσότεροι publishers αφήνουν τις ρυθμίσεις waterfall ανέγγιχτες για μήνες, χάνοντας σημαντικά έσοδα. Η λύση δεν είναι να σταματήσετε τις αλλαγές, αλλά να τις δοκιμάζετε σωστά πριν τις υιοθετήσετε οριστικά.
Γιατί η δοκιμή waterfall είναι διαφορετική
Ένα A/B test σε ένα waterfall δεν είναι σαν δοκιμή χρώματος κουμπιού ή onboarding flow. Τα έσοδα από διαφημίσεις είναι εκ φύσεως θορυβώδη — κυμαίνονται ανά ώρα, ημέρα της εβδομάδας, εποχή και δεκάδες άλλους παράγοντες. Μια αλλαγή που φαίνεται ως 10 τοις εκατό βελτίωση τη Δευτέρα μπορεί να εξηγείται πλήρως από τη φυσιολογική εβδομαδιαία διακύμανση. Και σε αντίθεση με τα A/B tests προϊόντος, όπου μια κακή variant προκαλεί ελαφρώς χειρότερη εμπειρία χρήστη, μια κακή waterfall variant μπορεί να σημαίνει χιλιάδες δολάρια χαμένων εσόδων την ημέρα.
Η προσέγγιση του traffic split
Ο ασφαλέστερος τρόπος να δοκιμάσετε αλλαγές waterfall είναι να χωρίσετε την κίνησή σας μεταξύ της τρέχουσας διαμόρφωσης (control) και της προτεινόμενης αλλαγής (variant). Οι περισσότερες πλατφόρμες mediation — συμπεριλαμβανομένων των AppLovin MAX και Unity LevelPlay — υποστηρίζουν traffic segmentation που σας επιτρέπει να δρομολογείτε ένα ποσοστό χρηστών σε διαφορετική διαμόρφωση waterfall.
Πώς να στήσετε ένα καθαρό τεστ
Ξεκινήστε με split 90/10: το 90 τοις εκατό της κίνησης συνεχίζει στο τρέχον waterfall σας, και το 10 τοις εκατό παίρνει τη νέα διαμόρφωση. Αυτό περιορίζει τον κίνδυνό σας στο 10 τοις εκατό της κίνησης, ενώ σας δίνει αρκετά δεδομένα για να εντοπίσετε σημαντικές διαφορές. Εκτελέστε το τεστ για τουλάχιστον επτά ημέρες για να αποτυπώσετε την εβδομαδιαία κυκλικότητα στη ζήτηση διαφημίσεων.
Τι να μετρήσετε
Μην μετράτε μόνο το eCPM. Παρακολουθήστε αυτές τις μετρικές για τις δύο ομάδες: συνολικά έσοδα ανά χίλιους ημερήσιους ενεργούς χρήστες (revenue per mille DAU), fill rate, μέσο eCPM, impressions ανά session και — κρίσιμο — τη διατήρηση χρηστών. Μια αλλαγή waterfall που ανεβάζει το eCPM κατά 15 τοις εκατό αλλά αυξάνει τον χρόνο φόρτωσης διαφημίσεων και μειώνει το 7ήμερο retention κατά 2 τοις εκατό είναι καθαρή ζημία.
Η μέθοδος της holdout ομάδας
Για πιο σημαντικές αλλαγές — όπως η προσθήκη ή αφαίρεση ενός demand source, ή η αναδιάρθρωση όλου του waterfall σας — χρησιμοποιήστε μια holdout ομάδα. Κρατήστε το 20 τοις εκατό της κίνησης στην παλιά διαμόρφωση μόνιμα (ή για τη διάρκεια του τεστ) και κυκλοφορήστε τη νέα διαμόρφωση στο υπόλοιπο 80 τοις εκατό. Αυτό σας δίνει μια μόνιμη βάση αναφοράς για σύγκριση, ιδιαίτερα πολύτιμη για αλλαγές των οποίων ο αντίκτυπος μπορεί να χρειαστεί εβδομάδες για να εκδηλωθεί πλήρως.
Σταδιακή κυκλοφορία
Μόλις ένα τεστ δείξει θετικά αποτελέσματα στο 10 τοις εκατό, μην το ωθήσετε αμέσως στο 100 τοις εκατό. Αυξήστε στο 25 τοις εκατό για μερικές ακόμη ημέρες, μετά 50, μετά 75, μετά 100. Κάθε βήμα σας δίνει ένα σημείο ελέγχου για να επαληθεύσετε ότι η βελτίωση διατηρείται σε μεγαλύτερους όγκους κίνησης και για να εντοπίσετε προβλήματα που εμφανίζονται μόνο σε κλίμακα — όπως ένας demand partner που αποδίδει καλά σε χαμηλό όγκο αλλά δεν μπορεί να διατηρήσει το fill rate όταν του δοθεί περισσότερη κίνηση.
Οι publishers που αυξάνουν σταθερά τα έσοδα από διαφημίσεις δεν είναι αυτοί που κάνουν τις πιο τολμηρές αλλαγές — είναι αυτοί που δοκιμάζουν κάθε αλλαγή μεθοδικά και δεσμεύονται μόνο στους νικητές. Μικρές, επικυρωμένες βελτιώσεις συσσωρεύονται σε τεράστια κέρδη με την πάροδο του χρόνου.
Συνηθισμένα λάθη δοκιμών
Δοκιμή πολλών μεταβλητών ταυτόχρονα
Αλλάζετε ένα πράγμα ανά τεστ. Αν προσαρμόζετε ταυτόχρονα τα floor prices, προσθέτετε ένα νέο demand source και αναδιατάσσετε την προτεραιότητα του waterfall, δεν μπορείτε να αποδώσετε το αποτέλεσμα σε καμία μεμονωμένη αλλαγή. Απομονώστε τις μεταβλητές.
Τερματισμός των δοκιμών πολύ νωρίς
Τα έσοδα από διαφημίσεις έχουν σημαντικές επιδράσεις ημέρας-της-εβδομάδας. Ένα τεστ που τρέχει από Δευτέρα έως Τετάρτη θα σας δώσει διαφορετική εικόνα από ένα που περιλαμβάνει ένα ολόκληρο σαββατοκύριακο. Εκτελείτε πάντα τεστ για τουλάχιστον επτά πλήρεις ημέρες, ιδανικά δεκατέσσερις.
Αγνοώντας τη στατιστική σημαντικότητα
Μια βελτίωση εσόδων 5 τοις εκατό σε ένα μικρό τμήμα κίνησης μπορεί να είναι θόρυβος. Πριν ανακηρύξετε νικητή, βεβαιωθείτε ότι η διαφορά είναι στατιστικά σημαντική — οι περισσότερες πλατφόρμες mediation παρέχουν confidence intervals, ή μπορείτε να χρησιμοποιήσετε τυπικά στατιστικά εργαλεία για επαλήθευση.
Αυτοματοποίηση της διαδικασίας
Ένας managed monetization συνεργάτης μπορεί να εκτελεί συνεχείς δοκιμές waterfall εκ μέρους σας, με αυτοματοποιημένα συστήματα που χωρίζουν την κίνηση, μετρούν αποτελέσματα και προωθούν τις νικήτριες διαμορφώσεις — χωρίς να χρειάζεται η ομάδα μηχανικών σας να στήσει υποδομή δοκιμών. Αυτό μετατρέπει τη βελτιστοποίηση waterfall από περιστασιακή χειροκίνητη διαδικασία σε συνεχή μηχανή βελτίωσης.