A/Bテスト

    入札のA/Bテスト

    ウォーターフォールと比較した入札の影響を測定するには、A/Bテストを実行してオーディエンスを2つのセグメントに分割します。これにより、ユーザー数の違いやアプリに加えられた更新などの各種の要因によってCPMが変動する可能性がある事前事後テストに依存することなく、変更の効果を効率的に測定できます。

    他の要因を分離することが難しいため、入札の実装前と実装後のパフォーマンスを比較して成功度を測定することは困難です。一方、A/Bテストでは、入札によるパフォーマンスの向上がより明確に示されます。入札に移行する際の運用効率もあるため、入札の価値はパフォーマンスだけで測定するべきではありません。

    メディエーションプラットフォームでのテスト

    可能であれば、メディエーションプラットフォームまたは分析プラットフォームを使用してA/Bテストを実行してください。こうしたプラットフォームは、要因を効率的にコントロールして正確な結果が得られるように設定されているからです。テストを設定するには、使用するプラットフォームのドキュメントを参照してください。

    メディエーションプラットフォームまたは分析プラットフォームがA/Bテストをサポートしていない場合は、以下の手順とベストプラクティスに従って、入札とウォーターフォールの差異を測定できます。

    A/Bテストの作成

    ベストプラクティス

    • すべての広告フォーマットを含め、すべてのトラフィックを1つのアプリで同時にテストします。アプリ全体をテストすることを望まない場合は、十分なトラフィックがあれば、iOSまたはAndroidのいずれかをテストできます。
    • 各グループで少なくとも1日あたり30,000件のインプレッション(全体で1日あたり60,000件のインプレッション)をテストします。これより少ないと、結果が不正確になる可能性があります。
    • 最初の14日間で指標が変動する可能性があるため、パフォーマンスを適切に比較するには14日以上の期間にわたってテストします。
    • 既存のウォーターフォールのアドネットワークをできるだけ多く同時に入札に移行します。ただし、この段階では新しいアドネットワークを導入しないでください。新しい需要が原因で収益が増加する可能性があるからです。その後、追加のテストを実行して、新しいネットワークのもたらす影響を確認できます。
    • 競争を促進するため、いくつかのアドネットワークのデマンドソースを含めます。
    • パフォーマンスの測定を開始する前に、統合にエラーがないことを確認してください。

    A/Bテストの設定

    入札によって収益が増加することを証明するには、入札とウォーターフォールを除くすべてのテスト要因が同等でなければなりません。

    A/Bテストでは、次の2つのグループを設定します。

    • コントロールグループ: 従来のウォーターフォール
    • テストグループ: ウォーターフォールと入札の検証対象の組み合わせ

    メディエーションプラットフォームの設定

    コントロールグループ

    通常どおりに、配置用のウォーターフォールを設定します。

    テストグループ

    入札をサポートするメディエーションの場合

    • Audience Networkについては、メディエーションプラットフォームで許可されていれば、(OSおよび広告フォーマットごとに)収益が最も多い既存のウォーターフォール配置を再利用します。メディエーションプラットフォームがテストグループとコントロールグループの両方で同じ配置IDをサポートしていない場合は、新しいAudience Network配置IDを作成する必要があります。
    • 入札に関係する唯一の配置設定は、広告フォーマットです。たとえば、配置レベルのウォーターフォール価格ターゲットは入札には適用されません。
    • 他のアドネットワークについては、該当のドキュメントを参照して、既存の配置を再利用するか新しい配置を作成するかを決定してください。ほとんどの場合、既存の配置は過去のパフォーマンスに対して調整されるため、既存の配置を保持する必要があります。

    入札をサポートしないアドネットワークの場合

    • ウォーターフォールの配置を複製して、テストグループとコントロールグループの両方で異なる配置IDが使用されるようにします。最低価格などの構成は同じにしてください。これにより、テストグループとコントロールグループの両方で収益を個別に測定できます。
    • 一部のメディエーションプラットフォームでは、現在のウォーターフォールを自動的に複製できるので、既存のアドネットワークを手動で設定する必要はありません。

    A/Bテスト結果の測定

    • 入札のパフォーマンスを測定するための主要な指標は、ネットワークごとのパフォーマンスではなく、全体的な収益を測定する1日のアクティブユーザーあたりの平均収益(ARPDAU)です。これは、ネットワークCPMが主要な成功指標で、フィルレートと全体的な配当性向が副次的な指標として使用されるウォーターフォールとは異なります。
    • 入札を開始すると、ネットワークCPMが変化することが予想されます。これは、アドネットワークがより大きな機会に接触し、より多くのインプレッションを表示するためです。アドネットワークは、ウォーターフォール環境ではウォーターフォールでの位置に応じて特定の結果に抑制されていました。しかし、入札環境では、より低いCPMまたはより高いCPMでより多くのインプレッションを配信する可能性があり、それが全体的なCPMに影響を与えます。CPMの変動を重視するのではなく、ARPDAUを確認することが重要です。
    • また、1日のアクティブユーザーあたりのインプレッション数(IMP/DAU)にわずかな変動が生じることがあります。これを説明する主な理由として、以下の2つが考えられます。
      • Facebook Audience Networkの最低価格を複数設定している場合は特に、入札に移行したときに遅延が減少します。
      • ウォーターフォールにバックフィルオプションがない場合、IMP/DAUが増加する可能性があります。最低価格を下回っていたために以前のウォーターフォールでは配信されていなかったインプレッションが、入札者によって落札されるようになります。
      • IMP/DAUの増加が気になる場合は、オークション全体の最低価格を、ウォーターフォールの最低価格と同じレベルに設定してください。Audience Networkの入札者はオークションの最低価格を無視するので、これによってパフォーマンスが向上することはありません。