竞价 A/B 测试

如要评估竞价对瀑布策略的影响，您可执行 A/B 测试，将您的受众群体细分成两个部分。这样可以确保对所做的更改进行有效的评估，而不必依靠后期测试，因为后者可能会因为用户数量、应用更新和其他因素的差异而导致千次展示费用有所波动。

由于很难隔离其他因素，因此我们很难通过比较实施竞价前后的表现来评估是否成功；但是，A/B 测试能更清晰地显示竞价带来的成效提升。竞价的价值不应该仅根据成效来评估，这是因为在转向竞价时亦存在运营效率的因素。

中介平台上的测试

在可行的条件下，请通过您的中介或分析平台执行 A/B 测试，因为这些平台已完成相应设置，可有效控制因素并提供准确的结果。请参考平台的文档以设置任何测试。

如果您的中介或分析平台不支持 A/B 测试，请按照以下步骤和最佳实践来帮助评估竞价与瀑布策略之间的差异。

创建 A/B 测试

最佳实践

• 同时测试一个应用上的所有流量，包括所有广告格式。如果您不想测试整个应用，您亦可只测试 iOS 或 Android，前提是要有足够的流量。
• 在开展测试时，每组至少要有 30,000 次单日展示次数（总共 60,000 次单日展示次数）。如果展示次数少于此数量，则您可能会得到不正确的测试结果。
• 测试 14 天或更长的时间以充分比较成效，因为这些指标在前 14 天内可能会出现波动。
• 同时将您的现有瀑布策略式广告网络尽可能多地移至竞价。但是，请不要在此阶段引入新的广告网络，因为新需求可能会导致收入上升。之后，您可以运行其他测试以了解新网络带来的影响。
• 加入多个广告网络需求来源，以提高竞争优势。
• 在开始评估成效之前，请确保您的集成准确无误。

A/B 测试设置

如要将收入增加归因于竞价，则实验中除竞价与瀑布策略以外的所有条件都必须相同。

我们会将 A/B 测试设置为两组：

• 对照组：传统瀑布策略
• 测试组：经过验证的瀑布策略与竞价组合

中介平台设置

对照组

像平常一样为您的版位设置瀑布策略。

测试组

适用于支持竞价的中介

• 对于 Audience Network，如果中介平台允许，则重用收入最高（按操作系统和广告格式）的现有瀑布策略版位。如果中介平台不支持在测试组和对照组中使用相同的版位编号，则需要新建 Audience Network 版位编号。
• 与竞价相关的唯一版位设置是广告格式。例如，版位级别的任何瀑布策略价格目标均不适用于竞价。
• 对于其他广告网络，请参阅相关文档以确定是应该重用现有的版位还是新建版位。在大多数情况下，您应保留现有版位，因为系统将根据其过往成效进行校准。

对于不支持竞价的广告网络

• 复制您的瀑布策略版位，以便在测试组和对照组中使用不同的版位编号。确保您保留相同的配置，例如底价。这样您就可以分别评估测试组和对照组的收入。
• 某些中介平台会允许您自动复制当前的瀑布策略，因此您无需手动设置现有的广告网络。

评估 A/B 测试结果

• 评估竞价成效的关键指标是每日活跃用户平均收入 (ARPDAU)，此指标或评估整体收入，而不是每个广告网络的成效。这与瀑布策略不同，瀑布策略的主要成效评估指标是广告网络的千次展示费用，而填充率和整体进账比例则是次要评估指标。
• 开始竞价时，广告网络千次展示费用通常会有所变化。这是因为广告网络将获得更多机会并投放更多展示次数。使用瀑布策略时，我们会将广告网络限制在各自的瀑布策略位置以达到一定的成效；而在竞价环境中，广告网络可能会以较低或较高的千次展示费用投放更多的展示次数，从而影响整体的千次展示费用。我们应重点关注每日活跃用户平均收入 (ARPDAU)，而非千次展示费用 (CPM) 的波动。
• 您可能也会发现，每日活跃用户的展示次数 (IMP/DAU) 可能也会略有波动。这可能主要出于以下两个原因：

  • 转向竞价时的延迟减少，在您有多个 Facebook Audience Network 底价时更是如此。
  • 如果瀑布策略中没有回填选项，则 IMP/DAU 会增加。如果展示次数之前由于低于最低底价，而没有在瀑布策略中得到投放，则其现在会由竞价工具进行填充。
  • 如果您对 IMP/日活跃用户 (DAU) 的增加感到担心，请将整个竞拍的底价设置为与瀑布策略最低底价相同的水平。请注意，这并不会提升成效，因为 Audience Network 竞价工具将忽略其竞拍中的底价。