广告系列预算优化的成效探索

测试框架

由于我们的测试目标是了解 CBO 的表现情况，以及使用 CBO 的广告与采取手动调整预算和其他设置的广告的表现对比情况，为此我们制定了以下测试框架。

测试假设

我们旨在借助以上框架回答下列问题，以此改变广告主的行为。

1. 相较于开启 CBO 的广告，在广告组层级手动调整预算的广告是否能带来更高的投资回报或转化量？（组 1 对比组 3）

2. 相较于开启 CBO 的广告，在广告系列层级手动调整预算的广告是否能带来更高的投资回报或转化量？（组 4 对比组 3）

获胜标准

为了让 CBO 成效分析的标准保持一致，我们采用了标准统计时间窗：使用“点击后 7 天内”和“浏览后 1 天内”的时间窗来分析 14 天内的收益情况。

每次测试和两两对比（例如组 1 对比组 2）时，我们都会计算如下指标：

• 获胜组 = 单次操作费用更低的组别

• 两组间单次操作费用的百分比差异 = 一组与另一组的单次操作费用差异百分比情况

在所有测试中，我们会针对每两组计算并比较以下指标：

• 获胜几率 = 单次操作费用更低的测试次数（观察到的几率）

• 所有测试的单次操作费用平均百分比差异

 广告主招募与资格要求

以下对比组已经过严格的质量控制检查，对比结果已包含在此次深入分析中。

针对组 1 与组 3 对比组开展了 13 次测试。针对组 3 与组 4 对比组开展了 14 次测试。

所执行的质量控制检查包括：

• CBO 设置是否正确

• 各广告组的竞价策略是否一致（未设置竞价上限的最低费用竞价）

• 优化目标是否一致

• 广告系列是否至少投放 14 天

• 各组的投放开始日期和结束日期是否一致

• 总预算/单日预算设置是否一致

• 测试结束后，两组的广告花费差异是否不超过 10%

• 广告主做出的调整

•  组 1 和组 4：广告主可以调整预算和其他设置，不调整也可

• 其他有关转化增量的检查：

• 是否为非负向高级提升结果数据

测试结果与结论

我们在每次测试中都进行了两两对比，并汇总了所有测试结果的平均值。统计数据摘要报告表明，手动调整组（无论是在广告组还是广告系列层级设置预算）的单次操作费用比启用 CBO 的测试组要高。

问题 1：相较于启用 CBO 的广告，在广告组层级手动调整预算这一做法是否能带来更好的成效，例如更多的转化量？（组 1 对比组 3)

没有，我们发现，在 13 次测试中，手动调整广告组预算产生的单次操作费用要比启用 CBO 的广告高 17%。在广告组层级手动调整预算的组别单次操作费用更低的几率为 50%。

问题 2：相较于启用 CBO 的广告，在广告系列层级手动调整预算这一做法是否能带来更高的投资回报或转化量？（组 4 对比组 3)

没有，我们发现，在 14 次测试中，手动调整广告系列预算产生的单次操作费用要比启用 CBO 的广告高 7%。在广告系列层级手动调整预算的测试组单次操作费用更低的几率为 53%。

总结

CBO 的一个关键功能是在各广告组间优化预算的分配。大中华区的大多数广告主都雇佣了优化团队来调整预算，因此使用 CBO 自动调整预算的优势可能不是非常直观明了。

鉴于此，这次调研是我们首次尝试了解，相较于在广告组层级（组 1）或广告系列层级（组 4）设置预算并进行手动调整，启用 CBO 的广告表现如何。我们发现整体结果呈中立，两者的获胜几率均接近 50%，但这对于 CBO 而言仍是一个积极信号，因为启用此功能后，系统为获得最佳成效而做出的决策与我们经验最丰富的广告主做出的决策一般无二。

该结论也与我们常说的“让机器学习为广告主效劳”相一致。在 14 天的投放期内调整过多有可能会中断机器学习阶段，导致广告优化效果不佳。

未来，我们希望更多的广告主能使用 CBO，不过多地干扰广告的优化过程。