功能介绍

拆分对比实验是面向广告主的自助实验工具，通过实验系统实现待测广告的竞争隔离，得到有效实验结论。通过该工具，广告主可以了解到不同的投放策略对广告表现的影响，从而依据实验结论有效进行后续的广告投放优化。

新策略测试、新账户测试和合约投放前测试，这三种情况下都强烈建议使用拆分对比实验。通过实验系统实现隔离竞争，避免多条对比策略之间的内部挤压，营造公平环境。可以让不同策略快速积累足量、无偏的实验数据，得到有效实验结论。

1. 拆分对比实验原理

拆分对比实验将实验中的广告进行流量隔离，每个广告只能获得自身的1/n流量（n=实验广告数）。如您创建的实验中有2条实验广告，则每条广告可以获得自身50%的流量。通过实验广告间的流量隔离保证实验广告处于相同的竞争环境中，得到公平的测试结果。需要说明的是，实验广告只会相互隔离，和账户中的其他广告还是具有竞争关系的。

2. 拆分对比实验的优势有哪些？

（1）操作简单：通过一次实验创建，最多同时验证5种投放策略，无需分别创建广告，节省实验操作时间，提高实验效率。

（2）专属报表&系统判定实验结论：实验数据采用单独报表展示，方便广告主直接对比实验效果。同时，随着实验进程的发展，广告主可以借助“全量推荐度”了解目前的实验数据是否充分，借助“优胜广告”的判定辅助进行结果解读。

（3）隔离竞争，结果无偏：实验工具通过隔离多条待测广告间的竞争关系，让多条广告面临完全一致的竞争环境，保证效果数据可比，得到无偏的实验结论。

（4）实验后优胜广告一键全量：对于投放效果好的广告，实验工具提供直接全量功能让广告持续投放。通过实验验证投放策略，快速观察策略情况进而全量表现好的广告，可以保证广告在全周期内合理分配流量，提升投放效果。

使用指引

1. 拆分对比实验如何创建？

（1）拆分对比实验支持的变量：

定向、出价方式、创意等广告策略均可以成为拆分对比实验支持的测试变量。

a. 单一变量模式：

创意—每天新上多套素材、文案，到底哪个创意方向更适合您？

定向—新标签（标签组合）测试、人群包测试均可支持，哪种定向设置效果更好？

出价方式—用oCPA还是CPC？用哪种优化目标进行优化？出多少价格更适合您平衡量和成本？

为保证实验结果有效性，选择上述变量测试时，一次实验仅支持一个变量的测试。同时需要说明的是，出价价格为默认变量，广告主在选定任意变量时，均可对不同广告出相同/不同价格来进行实验验证。

b. 自由变量模式：

想要进行变量间的组合测试？想要设置广告创建过程中的其他信息为变量？

您可以选择自由变量方式测试：

自由变量—支持将广告设置中任意信息作为变量控制（可以是创意、定向、出价方式，也可以是其他信息，还可以用来测试新产品功能），且无需严苛控制单一变量，达到快速创建自由变量对照实验，快速观察自由变量/组合策略下，广告效果的目的。

（2）具体使用步骤：

Step1了解实验：

通过工具箱-投放辅助-拆分对比实验路径，进入拆分对比实验页面。

Step2新建实验：

设置想要测试的实验变量、实验广告数和其他广告设置

Step3观察效果：

到达实验时间自动开启实验，积累实验数据，通过拆分对比实验模块中的报表随时查看各实验广告的数据对比。

Step4全量实验：

积累充分的实验数据后得到实验结论，选择实验全量，将投放效果更佳的实验广告保持继续投放。

常见问题

1. 如何查看实验结论，全量推荐度和优胜广告分别是什么？

当实验开启后，广告主可以通过在广告列表，点击管理实验广告，访问实验详情页；也可以到工具箱-拆分对比实验中查看到已创建的实验详情：在同一个报表页面，可以查看到实验开启到现在的全部数据，广告主可以选择自己关注的指标进行直观便捷的对比。同时，也可以参考系统给到的指引来辅助进行结果判断，包括“全量推荐度”及“优胜广告”两项指标。

全量推荐度：根据目前的实验数据充分性，系统会给到全量推荐度指标，分为1星到5星五个等级。实验数据越充分，实验对比结论越可信，此时全量推荐度越高，反之则全量推荐度越低。当全量推荐度达到4星及以上时，此时已得到的实验结论具备统计意义；当全量推荐度在3星及以下时，建议广告主继续实验，待全量推荐度提升后再观察实验结论，一般需要1-3天。

优胜广告：依据实验数据，当某条/某几条实验广告显著优于其他实验广告时，会判定该条/多条广告为优胜广告，建议广告主全量实验并将优胜广告置于开启状态。

智能全量：如果在实验创建初期，授权了“智能放量”，则在系统判断出优胜广告后，会自动为优胜广告倾斜更多流量：仅在此条实验计划背后流量不再等分，整个实验广告加和仍为100%流量，其中优胜广告拿到更多流量，劣势广告逐步减少流量分配。

同前，当观察到优胜广告的显著优势后，建议通过全量实验并将该条广告置于开启状态，来放大优势。

2. 拆分对比实验支持修改吗，推荐使用编辑功能修改的情况有哪些？

可以修改。普通列表视图下，支持观察实验，不可编辑；转入管理实验广告列表后，现已支持编辑，操作方式与普通广告一致，灵活方便。

以下场景推荐使用编辑功能，帮助实验顺利启动、观察数据：

a)审核未通过，实验无法进行时，通过编辑对创意、和落地页等予以优化；

b)App类推广，需配置、或更新渠道包跟进转化效果时，通过编辑选取应用渠道包进行推广；

c)必须对某些投放内容进行优化，如修改投放时间、活动细则、定向更新等非实验变量条件时：将所有实验广告均予以同样编辑修改（此时请注意：不要因编辑修改增加实验变量因素，使得差异复杂化，难以得到有效结论）。

为控制投放风险，也可以随时通过快捷编辑入口修改广告出价，以及随时暂停或开启实验中的任一条广告。

3. 拆分对比实验支持复制吗？

普通列表视图下，支持观察实验，不可复制；转入管理实验广告列表后，现已支持复制，操作方式与普通广告一致，灵活方便。

拆分对比实验广告复制后，是一条普通广告，并非在实验条件下新增。在实验广告列表中，选中一条实验广告点击复制后，会和复制普通广告操作一样，进入广告的创建流程：

复制后的广告默认位于当前实验广告所在计划内，可以选择放入其他计划、或者新建计划放入。

复制后的广告名称默认是“原实验广告名称”-副本。

4. 对于不同种类的广告主，建议的实验方案分别是什么？

对于初期使用拆分对比实验的广告主来说，建议选定明确的测试目标（如测试A/B两个标签的效果，或测试两个素材的效果），并将测试目标设置成唯一变量，价格保持相同。在测试过程中，如需调整价格，保证实验中的广告同时调整并调整为相同价格。通过严格的控制变量法得到有效的实验结果。建议通过实验验证7天以上时间，全量后选取效果较好的实验广告继续投放。

对于有经验的广告主来说，价格可以成为您调整实验的关键。在实验开始后，您可以通过对价格的调整将多条实验广告的转化成本或转化量调平，来在相同成本的情况下对比转化量的大小或在相同转化量的情况下对比成本的高低。