모든 수익화 팀은 이 감정을 압니다. 워터폴 변경이 수익을 개선할 것이라고 확신하지만, 실제로 라이브에 푸시하는 순간 숨을 멈춥니다. 역효과가 나면 어떡하지? fill rate가 떨어지면? 알아채고 되돌리기까지의 시간 동안 회사에 수천 달러의 손실을 입히면?
이 두려움은 비합리적이지 않습니다. 그래서 대부분의 퍼블리셔는 몇 달 동안 워터폴 설정을 건드리지 않은 채로 두고, 상당한 수익 기회를 놓칩니다. 해결책은 변경을 멈추는 것이 아닙니다. 커밋하기 전에 제대로 테스트하는 것입니다.
워터폴 테스트가 다른 이유
워터폴 A/B 테스트는 버튼 색상이나 온보딩 플로우 테스트와 다릅니다. 광고 수익은 본질적으로 노이즈가 많아 시간, 요일, 계절 및 수십 가지 요인에 따라 변동합니다. 월요일에 10퍼센트 개선처럼 보이는 변화가 단지 정상적인 주간 변동으로 완전히 설명될 수도 있습니다. 나쁜 variant가 사용자 경험을 약간 악화시키는 정도에 그치는 제품 A/B 테스트와 달리, 나쁜 워터폴 variant는 하루에 수천 달러의 수익 손실을 의미할 수 있습니다.
트래픽 분할 접근법
워터폴 변경을 테스트하는 가장 안전한 방법은 현재 설정(control)과 제안된 변경(variant) 사이에 트래픽을 분할하는 것입니다. AppLovin MAX와 Unity LevelPlay를 포함한 대부분의 mediation 플랫폼은 사용자 일정 비율을 다른 워터폴 설정으로 라우팅하는 트래픽 세그멘테이션을 지원합니다.
깨끗한 테스트 설정 방법
90/10 분할로 시작하세요. 트래픽의 90퍼센트는 현재 워터폴을 계속 사용하고, 10퍼센트가 새 설정을 받습니다. 이렇게 하면 하방 리스크를 트래픽의 10퍼센트로 제한하면서 의미 있는 차이를 감지할 만큼 충분한 데이터를 얻습니다. 광고 수요의 주간 주기성을 포착하려면 테스트를 최소 7일간 실행하세요.
무엇을 측정할 것인가
eCPM만 측정해서는 안 됩니다. 두 그룹에 대해 다음 지표를 추적하세요. 일일 활성 사용자 천 명당 총 수익(revenue per mille DAU), fill rate, 평균 eCPM, 세션당 노출 수, 그리고 결정적으로 사용자 리텐션입니다. eCPM을 15퍼센트 끌어올리지만 광고 로드 시간이 늘어나고 7일 리텐션을 2퍼센트 떨어뜨리는 워터폴 변경은 순손실입니다.
홀드아웃 그룹 방법
더 중대한 변경, 예를 들어 수요 소스를 추가 또는 제거하거나 전체 워터폴을 재구성하는 경우에는 홀드아웃 그룹을 사용하세요. 트래픽의 20퍼센트를 이전 설정으로 영구적으로(또는 테스트 기간 동안) 유지하고 나머지 80퍼센트에 새 설정을 롤아웃합니다. 이렇게 하면 비교할 수 있는 지속적인 베이스라인이 생깁니다. 영향이 완전히 나타나는 데 몇 주가 걸릴 수 있는 변경에 특히 가치가 있습니다.
점진적 롤아웃
테스트가 10퍼센트에서 긍정적인 결과를 보여주더라도 즉시 100퍼센트로 푸시하지 마세요. 25퍼센트로 올려 며칠 더, 그다음 50, 75, 100으로 진행합니다. 각 단계는 개선이 더 큰 트래픽 볼륨에서도 유지되는지 확인하고, 스케일에서만 드러나는 이슈를 포착할 체크포인트를 제공합니다. 예를 들어 저볼륨에서는 잘 작동하지만 더 많은 트래픽을 받으면 fill rate를 유지할 수 없는 수요 파트너가 있을 수 있습니다.
광고 수익을 꾸준히 성장시키는 퍼블리셔는 가장 대담한 변경을 하는 사람들이 아닙니다. 모든 변경을 체계적으로 테스트하고 승자에게만 커밋하는 사람들입니다. 작고 검증된 개선이 시간이 지나며 복리로 거대한 성장으로 누적됩니다.
흔한 테스트 실수
한 번에 너무 많은 변수를 테스트
테스트당 한 가지만 변경하세요. 플로어 가격을 조정하고, 새 수요 소스를 추가하고, 워터폴 우선순위를 재정렬하는 일을 동시에 하면, 결과를 어떤 단일 변경에 귀속시킬 수 없습니다. 변수를 분리하세요.
테스트를 너무 일찍 종료
광고 수익에는 상당한 요일 효과가 있습니다. 월요일부터 수요일까지 실행되는 테스트는 주말 전체를 포함하는 테스트와 다른 그림을 보여줍니다. 항상 최소 7일, 이상적으로는 14일간 테스트를 실행하세요.
통계적 유의성 무시
작은 트래픽 세그먼트에서의 5퍼센트 수익 개선은 노이즈일 수 있습니다. 승자를 선언하기 전에 차이가 통계적으로 유의한지 확인하세요. 대부분의 mediation 플랫폼은 confidence interval을 제공하며, 표준 통계 도구로 검증할 수도 있습니다.
프로세스 자동화
매니지드 수익화 파트너는 트래픽을 분할하고 결과를 측정하며 승리 설정을 승격시키는 자동화 시스템을 사용해 당신을 대신해 지속적인 워터폴 테스트를 실행할 수 있습니다. 엔지니어링 팀이 테스트 인프라를 구축하고 관리할 필요도 없습니다. 이렇게 하면 워터폴 최적화가 때때로 하는 수동 프로세스에서 지속적인 개선 엔진으로 바뀝니다.