すべての収益化チームはこの感覚を知っています。ウォーターフォールの変更で収益が改善するはずだと確信しているのに、本番へ投入する瞬間、息を止めてしまうのです。もし裏目に出たら?もしfill rateが下がったら?気づいて元に戻すまでの間に、会社に数千ドルの損失を与えてしまったら?
この恐怖は不合理ではありません。だからこそ多くのパブリッシャーは何ヶ月もウォーターフォール設定に手を付けず、大きな収益機会を逃しています。解決策は変更をやめることではなく、コミットする前に適切にテストすることです。
ウォーターフォールのテストはなぜ特別なのか
ウォーターフォールのA/Bテストは、ボタンの色やオンボーディングフローのテストとは違います。広告収益は本質的にノイズが多く、時間帯、曜日、季節、その他数十の要因で変動します。月曜日に10パーセントの改善に見えた変更が、単なる週次変動で説明できてしまうこともあります。悪いバリアントがユーザー体験をわずかに悪化させるだけのプロダクトA/Bテストと違い、悪いウォーターフォールのバリアントは1日あたり数千ドルの損失を意味することがあります。
トラフィック分割アプローチ
ウォーターフォール変更をテストする最も安全な方法は、現行設定(control)と提案する変更(variant)の間でトラフィックを分割することです。AppLovin MAXやUnity LevelPlayを含むほとんどのmediationプラットフォームは、ユーザーの一定割合を異なるウォーターフォール設定へルーティングするトラフィックセグメンテーションをサポートしています。
クリーンなテストをセットアップする方法
まずは90/10の分割から始めます。トラフィックの90パーセントは現行ウォーターフォールを継続し、10パーセントが新しい設定を受け取ります。これにより下振れリスクをトラフィックの10パーセントに抑えつつ、意味のある差分を検出できるだけのデータを得られます。広告需要の週次周期性を捉えるため、テストは最低7日間実行してください。
何を測定するか
eCPMだけを測定してはいけません。両グループについて次の指標を追跡してください。デイリーアクティブユーザー1000人あたりの総収益(revenue per mille DAU)、fill rate、平均eCPM、セッションあたりのインプレッション、そして決定的に重要なユーザーリテンションです。eCPMを15パーセント押し上げても広告ロード時間が伸び、7日リテンションが2パーセント下がるウォーターフォール変更は、純損失です。
ホールドアウトグループ方式
より重大な変更、たとえば需要ソースの追加・削除やウォーターフォール全体の再構成の場合は、ホールドアウトグループを使用してください。トラフィックの20パーセントを旧設定に恒久的に(またはテスト期間中)維持し、残りの80パーセントへ新設定を展開します。これにより比較のための恒常的なベースラインが得られます。影響が完全に表れるまで数週間かかる可能性のある変更にとっては、特に価値があります。
段階的ロールアウト
10パーセントでテストがポジティブな結果を示しても、いきなり100パーセントには広げないでください。25パーセントへ上げてさらに数日、次に50、75、100と進めます。各段階は、改善がより大きなトラフィック量でも維持されるかを確認するチェックポイントとなり、スケール時にのみ表面化する問題も捕捉できます。たとえば、少量時にはうまく機能するが、より多くのトラフィックを与えるとfill rateを維持できない需要パートナーなどです。
広告収益を一貫して成長させるパブリッシャーは、最も大胆な変更を行う人々ではありません。すべての変更を体系的にテストし、勝者にのみコミットする人々です。小さく検証済みの改善が、時間とともに複利で巨大な成長へと積み上がります。
よくあるテストの失敗
一度に変数を変えすぎる
1回のテストで変更するのは1つだけにしてください。フロア価格を調整し、新しい需要ソースを追加し、ウォーターフォールの優先順位を並べ替えることを同時に行うと、結果をどの変更に帰属させるか判定できません。変数を分離してください。
テストを早く終了しすぎる
広告収益には大きな曜日効果があります。月曜から水曜に実行するテストは、週末を含むテストとは異なる結果になります。常に最低7日間、理想的には14日間テストを実行してください。
統計的有意性を無視する
小さなトラフィックセグメントでの5パーセントの収益改善はノイズかもしれません。勝者を宣言する前に、差分が統計的有意性を持つことを確認してください。ほとんどのmediationプラットフォームは信頼区間を提供しており、標準的な統計ツールで検証することもできます。
プロセスの自動化
マネージド収益化パートナーは、トラフィックを分割し、結果を測定し、勝利した設定を昇格させる自動化システムを使って、あなたに代わって継続的なウォーターフォールテストを実施できます。エンジニアリングチームがテストインフラを構築・管理する必要はありません。これによりウォーターフォール最適化は時折の手作業から継続的な改善エンジンへと変わります。