A/B 테스팅

    입찰의 A/B 테스팅

    폭포수식 경쟁 대비 입찰이 미치는 영향을 측정하려면 A/B 테스트를 실행하여 타겟을 두 개의 세그먼트로 분할합니다. 이렇게 하면 사용자 수, 앱 업데이트 등의 다른 요소에서의 차이로 인해 CPM이 변동할 수 있는 게시 전 테스트보다는 효과적으로 변경 사항을 측정할 수 있습니다.

    다른 요소를 분리하기 어렵기 때문에 입찰을 구현하기 전과 후에 성능을 비교하여 성공을 측정하기는 어렵지만, A/B 테스트는 훨씬 명확하게 성과의 이점을 보여줍니다. 입찰의 가치는 성과만으로 측정해서는 안 됩니다. 입찰로 옮기면 운영 효율도 향상되기 때문입니다.

    미디에이션 플랫폼에서의 테스트

    가능할 경우, 미디에이션 또는 분석 플랫폼을 통해 A/B 테스트를 실행하세요. 이 플랫폼들은 요소를 효과적으로 설정하고 정확한 결과를 제공하도록 설정되어 있기 때문입니다. 플랫폼 문서를 참조하여 테스트를 설정하세요.

    미디에이션 또는 분석 플랫폼이 A/B 테스트를 지원하지 않을 경우, 아래의 단계와 모범 사례에 따라 입찰과 폭포수식 경쟁의 차이를 측정할 수 있습니다.

    A/B 테스트 만들기

    모범 사례

    • 모든 광고 형식을 포함하여 하나의 앱에서 동시에 모든 트래픽을 테스트합니다. 앱 전체를 테스트하고 싶지 않을 경우 트래픽이 충분하기만 하면 iOS 또는 Android 어느 한 곳에서 테스트해도 됩니다.
    • 각 그룹에서 일일 노출 30,000회 이상으로 테스트합니다(전체 일일 노출 60,000회). 그보다 적으면 결과가 부정확할 수 있습니다.
    • 14일 이상의 기간을 두고 테스트하여 정확히 성과를 비교하세요. 처음 14일 동안은 지표가 변동할 수 있습니다.
    • 기존 폭포수식 광고 네트워크를 최대한 많이 한 번에 입찰로 옮기세요. 그러나 이 단계에서는 새 광고 네트워크를 도입하지 마세요. 매출이 상승한다면 새로운 수요가 발생한 것이 원인일 수 있습니다. 나중에 추가 테스트를 실행하여 새 네트워크의 영향을 확인할 수 있습니다.
    • 여러 광고 네트워크 수요 소스를 포함하여 경쟁을 늘립니다.
    • 성과를 측정하기 전에 통합에 오류가 없는지 확인하세요.

    A/B 테스트 설정

    입찰에 의한 수익 상승분을 측정하려면 입찰과 폭포수식 경쟁을 제외하고 실험의 모든 조건이 동일해야 합니다.

    A/B 테스트는 두 개의 그룹으로 설정됩니다.

    • 대조군: 기존 폭포수식 경쟁
    • 실험군: 폭포수식 경쟁과 입찰로 구성된 검증된 조합

    미디에이션 플랫폼 설정

    대조군

    평소와 마찬가지로 노출 위치에 폭포수식 경쟁을 설정합니다.

    실험군

    입찰을 지원하는 미디에이션의 경우

    • Audience Network는 미디에이션 플랫폼에서 허용하는 경우 가장 수익이 높은 기존의 폭포수식 경쟁 노출 위치(OS 및 광고 형식별)를 다시 사용합니다. 미디에이션 플랫폼이 두 테스트와 대조군에서 동일한 노출 위치 ID를 지원하지 않는다면 새로운 Audience Network 노출 위치 ID를 만들어야 합니다.
    • 입찰과 관련이 있는 유일한 노출 위치 설정은 광고 형식입니다. 예를 들어 노출 위치 수준에서의 폭포수식 가격 타겟은 입찰에 적용되지 않습니다.
    • 다른 광고 네트워크의 경우 각 문서를 참조하여 기존 노출 위치를 다시 사용할지 새 노출 위치를 생성할지 결정합니다. 대부분의 경우 과거 성능에 대해 보정되므로 기존 노출 위치를 유지해야 합니다.

    입찰을 지원하지 않는 광고 네트워크

    • 폭포수식 노출 위치를 복제하여 다른 노출 위치 ID가 두 테스트와 대조군에 사용되도록 합니다. 최저 가격 등의 구성은 동일하게 유지해야 합니다. 이렇게 하면 두 테스트와 대조군의 수익을 분리하여 측정할 수 있습니다.
    • 일부 미디에이션 플랫폼에서는 기존 폭포수식 경쟁을 자동 복제하므로 기존 광고 네트워크를 수동으로 설정할 필요가 없습니다.

    A/B 테스트 결과 측정

    • 입찰에서 성과를 측정하기 위한 주요 지표는 일일 액티브 사용자당 평균 수익(ARPDAU)이며, 네트워크의 성과가 아니라 전체 수익을 측정합니다. 기본 성공 지표가 네트워크 CPM인 폭포수식 경쟁과는 차이가 있습니다. Fill rate와 전체 배당 성향은 보조 지표로 사용됩니다.
    • 입찰을 시작하면 네트워크 CPM이 변동할 것으로 예상됩니다. 광고 네트워크가 더 좋은 기회를 확보하고 더 많은 노출을 표시하기 때문입니다. 폭포수식 경쟁에서는 폭포수식 위치에서 특정 결과로 제약되지만 입찰 환경에서 광고 네트워크는 더 낮거나 높은 CPM에서 추가 노출을 제공할 수 있으며, 이는 전체 CPM에 영향을 미칩니다. CPM 변동보다는 ARPDAU를 살피는 것이 중요합니다.
    • 일일 액티브 사용자별 노출(IMP/DAU)도 다소 변동할 수 있습니다. 그 원인은 크게 두 가지로 설명할 수 있습니다.
      • 입찰로 이동하면 대기 시간이 단축됩니다(특히 Facebook Audience Network 최저 가격이 여러 개인 경우).
      • 폭포수식 경쟁에서 백업 광고 옵션이 없다면 IMP/DAU가 늘어날 수 있습니다. 최저 가격보다 낮아서 폭포수식 경쟁에서 제공되지 않은 노출이 있다면 해당 노출은 입찰자가 채울 것입니다.
      • IMP/DAU가 늘어날 것이 염려된다면 폭포수식 경쟁에서 최저 가격과 동일한 수준으로 경매 전체의 최저 가격을 설정하세요. Audience Network 입찰자는 경매에서 최저 가격을 무시하기 때문에 성과는 개선되지 않습니다.