Thử nghiệm A/B cho giải pháp đặt giá thầu

Để đo lường tác động của giải pháp đặt giá thầu so với mô hình thác nước, hãy tiến hành thử nghiệm A/B để tách đối tượng thành 2 phân khúc. Điều này đảm bảo rằng những thay đổi của bạn sẽ được đo lường một cách hiệu quả, chứ không dựa vào các thử nghiệm trước-sau mà CPM có thể dao động do khác nhau về số lượng người dùng, bản cập nhật ứng dụng và các yếu tố khác.

Rất khó để đo lường sự thành công bằng cách so sánh hiệu quả trước và sau khi triển khai giải pháp đặt giá thầu vì việc tách biệt các yếu tố khác không hề dễ dàng. Tuy nhiên, thử nghiệm A/B sẽ cho thấy rõ ràng hơn nhiều về hiệu quả đạt được nhờ giải pháp đặt giá thầu. Bạn không nên chỉ dựa vào hiệu quả để đo lường giá trị của giải pháp đặt giá thầu vì còn có hiệu quả hoạt động khác khi chuyển sang đặt giá thầu.

Thử nghiệm trên nền tảng trung gian

Nếu có thể, hãy tiến hành thử nghiệm A/B thông qua nền tảng phân tích hoặc trung gian vì những nền tảng này được thiết lập để kiểm soát các yếu tố một cách hiệu quả và đem lại kết quả chính xác. Hãy tham khảo tài liệu dành cho nền tảng của bạn để thiết lập bất kỳ thử nghiệm nào.

Nếu nền tảng phân tích hoặc trung gian của bạn không hỗ trợ thử nghiệm A/B, hãy làm theo các bước và cách làm tốt nhất dưới đây để đo lường sự khác biệt giữa giải pháp đặt giá thầu và mô hình thác nước.

Tạo thử nghiệm A/B

Cách làm tốt nhất

Thử nghiệm cùng lúc tất cả lưu lượng truy cập trên một ứng dụng, bao gồm mọi định dạng quảng cáo. Nếu không muốn thử nghiệm toàn bộ ứng dụng, bạn có thể thử nghiệm iOS hoặc Android, miễn là có đủ lưu lượng truy cập.
Thử nghiệm với ít nhất 30.000 lượt hiển thị hàng ngày trong mỗi nhóm (tổng cộng 60.000 lượt hiển thị hàng ngày). Nếu không, kết quả thu được có thể không chính xác.
Thử nghiệm trong khoảng thời gian 14 ngày trở lên để so sánh đầy đủ hiệu quả vì các số liệu có thể dao động trong 14 ngày đầu tiên.
Di chuyển cùng lúc nhiều mạng quảng cáo hiện có trong mô hình thác nước sang giải pháp đặt giá thầu. Tuy nhiên, đừng thêm mạng quảng cáo mới ở giai đoạn này vì doanh thu có thể tăng do có nguồn nhu cầu mới. Sau đó, bạn có thể tiến hành thử nghiệm thêm để biết tác động của các mạng mới.
Thêm một số nguồn nhu cầu của mạng quảng cáo để tăng tính cạnh tranh.
Đảm bảo tiện ích tích hợp của bạn không có lỗi trước khi bắt đầu đo lường hiệu quả.

Thiết lập thử nghiệm A/B

Để ghi nhận mức tăng doanh thu cho giải pháp đặt giá thầu, mọi yếu tố trong thử nghiệm đều phải như nhau ngoại trừ đặt giá thầu và mô hình thác nước.

Thử nghiệm A/B được thiết lập với 2 nhóm:

Nhóm kiểm soát: Mô hình thác nước truyền thống
Nhóm thử nghiệm: Sự kết hợp được xác thực giữa mô hình thác nước và giải pháp đặt giá thầu

Thiết lập nền tảng trung gian

Nhóm kiểm soát

Thiết lập mô hình thác nước cho các vị trí quảng cáo như thường lệ.

Nhóm thử nghiệm

Đối với nền tảng trung gian hỗ trợ đặt giá thầu

Đối với Audience Network, hãy sử dụng lại vị trí quảng cáo hiện tại có doanh thu cao nhất (theo hệ điều hành và định dạng quảng cáo) trong mô hình thác nước nếu nền tảng trung gian cho phép. Nếu nền tảng trung gian không hỗ trợ cùng một ID vị trí quảng cáo trong cả nhóm kiểm soát và nhóm thử nghiệm, bạn sẽ phải tạo ID vị trí quảng cáo mới trên Audience Network.
Cài đặt vị trí quảng cáo duy nhất phù hợp với giải pháp đặt giá thầu là định dạng quảng cáo. Chẳng hạn, mọi mức giá mục tiêu trong mô hình thác nước ở cấp vị trí quảng cáo sẽ không được áp dụng cho giải pháp đặt giá thầu.
Đối với các mạng quảng cáo khác, hãy tham khảo tài liệu tương ứng để xác định xem bạn nên sử dụng lại vị trí quảng cáo hiện tại hay tạo vị trí quảng cáo mới. Trong hầu hết các trường hợp, bạn nên giữ lại vị trí quảng cáo hiện tại vì vị trí này sẽ được hiệu chỉnh dựa trên hiệu quả trước đây.

Đối với các mạng quảng cáo không hỗ trợ giải pháp đặt giá thầu

Sao chép các vị trí quảng cáo trong mô hình thác nước để các ID vị trí quảng cáo khác nhau được sử dụng trong cả nhóm kiểm soát và nhóm thử nghiệm. Đảm bảo bạn duy trì cùng một cấu hình, chẳng hạn như giá sàn. Nhờ vậy, bạn có thể đo lường doanh thu riêng biệt cho cả nhóm kiểm soát và nhóm thử nghiệm.
Với một số nền tảng trung gian, bạn có thể tự động sao chép mô hình thác nước hiện tại để không phải thiết lập thủ công các mạng quảng cáo hiện có.

Đo lường kết quả của thử nghiệm A/B

Số liệu chính để đo lường hiệu quả đặt giá thầu là Doanh thu trung bình trên mỗi người dùng hoạt động hàng ngày (ARPDAU). Số liệu này đo lường tổng doanh thu chứ không đo lường hiệu quả theo mạng. Đây là điểm khác biệt so với mô hình thác nước, trong đó chỉ số thành công chính là CPM của mạng, còn tỷ lệ thực hiện và tỷ lệ thanh toán chung được dùng làm thước đo phụ.
CPM của mạng có thể thay đổi khi bạn bắt đầu đặt giá thầu. Đó là vì các mạng quảng cáo sẽ có quyền tiếp cận những cơ hội lớn hơn và đem lại nhiều lượt hiển thị hơn. Với mô hình thác nước, các mạng quảng cáo có vị trí riêng trong mô hình thác nước và chỉ đem lại kết quả nhất định. Còn trong môi trường đặt giá thầu, các mạng quảng cáo có thể đem lại thêm nhiều lượt hiển thị ở CPM thấp hơn hoặc cao hơn, từ đó ảnh hưởng đến CPM tổng thể. Thay vì tập trung vào sự dao động của CPM, bạn cần phải xem xét ARPDAU.
Ngoài ra, bạn cũng có thể nhận thấy sự dao động nhỏ trong Lượt hiển thị trên mỗi người dùng hoạt động hàng ngày (IMP/DAU). Sau đây là 2 nguyên nhân chính dẫn đến điều này:
- Độ trễ giảm khi chuyển sang đặt giá thầu, đặc biệt là khi bạn có nhiều mức giá sàn trên Facebook Audience Network.
- IMP/DAU có thể tăng nếu không có lựa chọn quảng cáo dự phòng trong mô hình thác nước. Nếu các lượt hiển thị không được phân phối trong mô hình thác nước trước đây vì dưới mức giá sàn thấp nhất thì hiện tại, công cụ đặt giá thầu sẽ thực hiện các lượt hiển thị đó.
- Nếu bạn quan tâm đến mức tăng IMP/DAU, hãy thiết lập giá sàn cho toàn bộ cuộc đấu giá ở mức tương tự giá sàn thấp nhất trong mô hình thác nước. Lưu ý rằng điều này sẽ không cải thiện hiệu quả vì công cụ đặt giá thầu trên Audience Network sẽ bỏ qua giá sàn trong đấu giá.