出價功能的 A/B 測試

若要衡量出價功能與瀑布策略相比有多少影響力,您可以執行 A/B 測試,將廣告受眾分成兩個族群。這可確保系統有效衡量您所進行的變更,而不會根據前期/後期測試的結果來做出判斷,因為每千次廣告曝光成本(CPM)在這類測試中有可能因用戶人數不同、應用程式更新和其他因素而有所波動。

由於單獨評估其他要素並不容易,您很難藉由比較出價功能實作前後的成效來衡量成效。然而,A/B 測試可以更清楚顯示出價功能所帶來的成效。改為使用出價功能後,運作效率也會一併提高,因此您不應僅用成效來衡量出價功能的價值。

在中介服務平台上進行測試

如果可以,請透過中介服務或分析平台執行 A/B 測試,因為這類平台能夠有效控管各項因素,並提供準確的結果。如需設定任何測試,請參閱各平台的說明文件。

若您的中介服務或分析平台不支援 A/B 測試,請按照下方的步驟和最佳作法來操作,以協助衡量出價功能與瀑布策略之間的差異。

建立 A/B 測試

最佳作法

  • 同時測試某個應用程式上的所有流量,包括所有廣告格式。如果您不想針對整個應用程式進行測試,則可選擇測試 iOS 或 Android 系統,只要有足夠的流量即可。
  • 每個受眾群組至少要有 30,000 筆單日曝光次數資料來進行測試(總共 60,000 筆單日曝光次數資料)。若少於這個數量,可能會導致結果不準確。
  • 由於衡量指標在前 14 天可能會有波動,測試期間應為 14 天以上,才能充分比較兩者的成效。
  • 盡可能同時將更多採用瀑布策略的現有廣告聯播網改為使用出價功能。不過,請勿在這個階段引入新的廣告聯播網,因為增加的收益可能是由新的廣告聯播網所產生。若要查看新廣告聯播網所創造的影響力,您可以之後再執行其他測試。
  • 加入數個廣告聯播網來提高競爭力。
  • 開始衡量成效前,請確保整合沒有發生任何錯誤。

A/B 測試設定

若要將收益增加歸因於出價功能,則除了出價功能與瀑布策略的比較內容外,實驗中所有項目都必須相同。

A/B 測試設定了兩個群組:

  • 控制組:傳統瀑布策略
  • 測試組:經過驗證的瀑布策略與出價功能組合

中介服務平台設定

控制組

請按照平常的方式來為廣告版位設定瀑布策略。

測試組

支援出價功能的中介服務

  • 如果您使用的是 Audience Network,則在中介服務平台允許的情況下,請重複使用每個 OS 和廣告格式中,收益最高的現有瀑布策略廣告版位。若中介服務平台不支援在測試組和控制組中使用相同的版位編號,您就需要建立新的 Audience Network 版位編號
  • 唯一與出價功能相關的廣告版位設定就是廣告格式。例如,廣告版位設定層級中的任何瀑布策略價格目標都不會套用至出價功能。
  • 如果您使用的是其他廣告聯播網,請參閱其提供的說明文件,判斷是否應該重複使用現有的廣告版位或建立新的版位。在大多數情況下,您應該保留現有的廣告版位,因為系統會根據過往成效來調整該版位。

不支援出價功能的廣告聯播網

  • 您需要複製採用瀑布策略的廣告版位,以便在測試組和控制組中使用不同的版位編號。請務必保留相同設定,例如最低價。如此一來,您就可以分別衡量測試組和控制組的收益。
  • 部分中介服務平台可讓您自動複製目前的瀑布策略,而無需手動設定現有的廣告聯播網。

衡量 A/B 測試結果

  • 衡量出價功能成效的關鍵衡量指標是「每日活躍用戶單人平均收益」(ARPDAU),該衡量指標衡量的是整體收益,而不是廣告聯播網所帶來的成效。這與瀑布策略不同;瀑布策略會以廣告聯播網的 CPM 做為主要成效衡量指標,並使用達標率和總支出率做為次要衡量指標。
  • 開始出價時,廣告聯播網的 CPM 應該會有變動。這是因為廣告聯播網能獲得更多機會並提供更多曝光次數。採用瀑布策略時,為達到特定成果,CPM 會受到瀑布策略廣告位置的限制。在使用出價功能的環境中,廣告聯播網可能會以較低或較高的 CPM 來提供其他曝光機會,而這會影響整體的 CPM。因此,比起留意 CPM 的波動幅度,觀察 ARPDAU 來得更為重要。
  • 「每日活躍用戶單人曝光次數」(IMP/DAU)也可能會稍微有波動,造成這個情況的主要原因可能有兩個:
    • 改為使用出價功能後,延遲時間縮短,特別是當您設定了多個 Facebook Audience Network 最低價的時候。
    • 如果瀑布策略沒有回填選項,IMP/DAU 可能會增加。若您先前因為曝光價格低於最低價,而沒有使用瀑布策略提供曝光機會,則這些曝光機會現在將由出價者供應。
    • 如果您擔心 IMP/DAU 增加,請為整個競價機制設定與瀑布策略最低價同等級的下限。請注意,這項設定並不會提高成效,因為 Audience Network 出價工具在競價機制中會忽略下限設定。