Mọi đội kiếm tiền đều biết cảm giác này: bạn chắc chắn rằng một thay đổi waterfall sẽ cải thiện doanh thu, nhưng ngay khi bạn đẩy nó lên live, bạn nín thở. Nếu nó phản tác dụng thì sao? Nếu fill rate giảm thì sao? Nếu bạn vừa khiến công ty mất hàng nghìn đô la trong khoảng thời gian cần thiết để nhận ra và hoàn nguyên thì sao?
Nỗi sợ này không phải là phi lý — đó chính là lý do hầu hết các nhà xuất bản để nguyên cấu hình waterfall của họ trong nhiều tháng liền, bỏ lại doanh thu đáng kể trên bàn. Giải pháp không phải là ngừng thay đổi. Giải pháp là test chúng đúng cách trước khi cam kết.
Tại sao test waterfall lại khác biệt
A/B test một waterfall không giống như test màu nút hoặc luồng onboarding. Doanh thu quảng cáo vốn nhiều nhiễu — nó dao động theo giờ, theo ngày trong tuần, theo mùa và hàng chục yếu tố khác. Một thay đổi trông có vẻ cải thiện 10 phần trăm vào thứ Hai có thể hoàn toàn được giải thích bằng biến động tuần bình thường. Và không như A/B test sản phẩm, nơi một variant tệ chỉ gây ra trải nghiệm người dùng hơi xấu hơn, một waterfall variant tệ có thể có nghĩa là hàng nghìn đô la doanh thu bị mất mỗi ngày.
Phương pháp chia tách traffic
Cách an toàn nhất để test các thay đổi waterfall là chia traffic của bạn giữa cấu hình hiện tại (control) và thay đổi được đề xuất (variant). Hầu hết các nền tảng mediation — bao gồm AppLovin MAX và Unity LevelPlay — hỗ trợ phân đoạn traffic cho phép bạn định tuyến một tỷ lệ phần trăm người dùng đến một cấu hình waterfall khác.
Cách thiết lập một test sạch
Bắt đầu với chia 90/10: 90 phần trăm traffic tiếp tục trên waterfall hiện tại và 10 phần trăm nhận cấu hình mới. Điều này giới hạn rủi ro giảm của bạn ở 10 phần trăm traffic trong khi cung cấp đủ dữ liệu để phát hiện các khác biệt có ý nghĩa. Chạy test ít nhất bảy ngày để nắm bắt tính chu kỳ hàng tuần trong nhu cầu quảng cáo.
Đo lường những gì
Đừng chỉ đo eCPM. Theo dõi các chỉ số này cho cả hai nhóm: tổng doanh thu trên nghìn người dùng hoạt động hàng ngày (revenue per mille DAU), fill rate, eCPM trung bình, impression mỗi phiên và — điều quan trọng — retention của người dùng. Một thay đổi waterfall nâng eCPM lên 15 phần trăm nhưng tăng thời gian tải quảng cáo và giảm retention 7 ngày 2 phần trăm là một tổn thất ròng.
Phương pháp nhóm holdout
Đối với những thay đổi quan trọng hơn — như thêm hoặc xóa một demand source, hoặc tái cấu trúc toàn bộ waterfall — hãy dùng một nhóm holdout. Giữ 20 phần trăm traffic trên cấu hình cũ vĩnh viễn (hoặc trong suốt thời gian test) và triển khai cấu hình mới cho 80 phần trăm còn lại. Điều này cung cấp một baseline bền vững để so sánh, đặc biệt có giá trị cho các thay đổi mà tác động của chúng có thể mất hàng tuần mới hiện rõ hoàn toàn.
Triển khai tăng dần
Một khi test cho kết quả tích cực ở 10 phần trăm, đừng đẩy ngay lên 100 phần trăm. Tăng lên 25 phần trăm trong vài ngày nữa, sau đó 50, rồi 75, rồi 100. Mỗi bước cho bạn một điểm kiểm tra để xác minh rằng cải thiện vẫn giữ vững ở lưu lượng cao hơn và để bắt các vấn đề chỉ xuất hiện ở quy mô lớn — như một demand partner hoạt động tốt ở khối lượng thấp nhưng không thể duy trì fill rate khi được cấp nhiều traffic hơn.
Các nhà xuất bản tăng trưởng doanh thu quảng cáo bền vững không phải là những người thực hiện các thay đổi táo bạo nhất — họ là những người test mọi thay đổi một cách có phương pháp và chỉ cam kết với người thắng. Những cải thiện nhỏ, đã được xác nhận, cộng dồn thành những thành quả khổng lồ theo thời gian.
Những sai lầm test phổ biến
Test quá nhiều biến cùng lúc
Thay đổi một thứ mỗi test. Nếu bạn đồng thời điều chỉnh floor price, thêm một demand source mới và sắp xếp lại ưu tiên waterfall, bạn không thể quy kết kết quả cho bất kỳ thay đổi đơn lẻ nào. Hãy cô lập các biến.
Kết thúc test quá sớm
Doanh thu quảng cáo có tác động đáng kể theo ngày trong tuần. Một test chạy từ thứ Hai đến thứ Tư sẽ cho bạn một bức tranh khác với một test bao gồm cả một ngày cuối tuần đầy đủ. Luôn chạy test ít nhất bảy ngày đầy đủ, lý tưởng là mười bốn.
Bỏ qua ý nghĩa thống kê
Một cải thiện doanh thu 5 phần trăm trên một phân đoạn traffic nhỏ có thể là nhiễu. Trước khi tuyên bố người thắng, hãy đảm bảo sự khác biệt có ý nghĩa thống kê — hầu hết nền tảng mediation cung cấp confidence interval, hoặc bạn có thể dùng các công cụ thống kê tiêu chuẩn để xác minh.
Tự động hóa quy trình
Một đối tác kiếm tiền được quản lý có thể chạy các test waterfall liên tục thay mặt bạn, sử dụng các hệ thống tự động chia traffic, đo kết quả và đẩy lên các cấu hình chiến thắng — tất cả mà không cần đội engineering của bạn thiết lập và quản lý cơ sở hạ tầng test. Điều này biến tối ưu hóa waterfall từ một quy trình thủ công thỉnh thoảng thành một động cơ cải tiến liên tục.