产品版本V1.0.3
产品手册：2021年9月1日
已过PR，可分享（11月15日素材维度测试更新快手广告投放平台「AB实验工具」素材维度测试说明手册 ，可以让对应销售同学咨询）
快手广告主/优化师在做一系列测试决策时，总希望能获得有效验证工具去进行实验。
如：验证两条不同计划，在投放过程中，哪一条在平均转化成本效果更好？ AB实验工具是一款用于满足广告主/优化师高效验证测试决策诉求的产品工具。
实验（实验时间在3日以上最佳）结论能让你更清晰看到，了解到在多个计划中不同素材、不同落地页、不同人群包、不同预算等设置条件下到底哪一个更好。
产品目标在于帮助客户实现在同策略同素材的实验环境下产出更科学的效果差异，论证结果。
公平无偏差的实验环境中，科学的拆分大盘人群流量，避免实验中的快手信息流广告组（计划）相互竞争挤压，得出具有统计效力的结果；
在评估实验完成前提下生成具有统计效力的分析报告，产出科学评估实验结论和对比实验结果，并支持生成具有统计显著性的分析报告，获取高可信度结论；
一次实验可得出实验对象点击率、转化率、平均转化成本的波动范围，以及获胜概率；
实验时间设置灵活，只要满足计划投放时间，并在多个时段和实验时间存在交集即可。
（如：某条计划投放时间是5月1日-6月30日，在此期间你可以分时段设置实验，5月10-20日为一次实验时间，结束后，5月30-6月20日再次设置二次实验）多时段验证投放过程中结论。
一、使用场景
什么时候会用到AB实验工具 当需要快速科学地比较多种快手视频广告策略时或准备进行大手笔投放前，可以进行 AB 实验。
常见场景： 两条不同计划，在投放过程中，哪一条在综合表现更好，获胜概率更高好？ 两个不同人群包，在投放过程中，哪一个在平均转化成本效果更好？ 两条不同素材的计划，在投放过程中，哪一条点击率效果更好？ 两条不同投放策略的计划，在投放过程中，哪一条转化率效果更好？ ……以及其他需要做决策的场景
实验支持条件一览表： 当设置实验时，需选择投放中计划2-5条进行设置（初次使用建议选择2条计划或快手广告组进行分流对比），同时所选实验对象按快手广告计划、快手广告组两个条件分别选择，在不同条件下有不同支持规范。
右下方一览表中，【支持实验】均指在快手广告组和快手广告计划选择下实验设置的标准条件。
结论运用 实验结论报告产出稳定后
1.可关停实验，或待实验自动结束；
2.可关停表现一般的实验对象；
3.针对实验结果制定符合自己的投放策略；
如：对效果好的快手广告计划/快手广告组提高出价，持续投放等。
️温馨提示
️：为有效使用实验结论，建议在实验结束后1周内开始投放调整，防止时间太久，受到新投放环境因素影响，无法有效按实验结论去辅助投放策略。
二、产品入口
️打开快手广告投放平台导航栏，选择【工具】->【优化工具】->【AB实验工具】
三、产品功能
（一）新建实验 打开【优化工具】->【AB实验工具】，选择“+新建实验”，即可开始实验设置。
设置实验条件 【实验对象】：快手广告计划/广告组 选择你需要测试的计划类型，快手广告计划或者广告组。建议可选择近2日展示数>300的计划/快手广告组进行实验，可以确保实验不会因为无任何展示数据而无法得出结果，同时没有展示数的计划/快手广告组也一样可以添加到实验中。
【选择快手广告计划/广告组】：
选择【快手广告计划】 选择广告计划后，共有7项维度分别是：应用、销售线索、商品、直播间、快手号、门店、电商店铺推广（默认“不限”），可以根据所要验证类型进行选择。
选择对应维度后，将有3个指标可勾选：按展示计费(oCPM)、按点击付费(CPC)、按展示付费(CPM)。
最后输入对应计划ID，或选择对应计划，勾选即可（最多可添加5个计划）。
选择【快手广告组】 【选择推广目的】共有7项维度分别是 ：
应用、销售线索、商品、直播间、快手号、门店、电商店铺推广，可以根据所要验证类型进行选择。 将多个计划组合为一个广告组，然后进行广告组间测试的结果稳定性更高。
【选择付费方式】共有3项维度分别是 ： 按展示付费（oCPM)、按点击付费（CPC)、按展示付费（CPM），计划维度在付费方式和推广目的上要求一致，在组维度可以随意选择。
当已经完成以上两项选择后，可以再针对已有计划或广告组进行勾选，可选择2-5个已有计划或广告组（所选实验对象越多，每个实验对象分配到的流量越少，初期建议选择2条计划或广告组进行实验）。
【实验时间】：仅可以选择设置当日到未来时间，从今天起最少实验1天，最多实验30天（必须在计划有效投放时间内才能执行实验）。建议设置时间>3日，实验效果更佳。
实验条件诊断 当你设置选择好对应计划后，实验条件将会根据你选择计划情况为你预估实验预算、实验时间，为实验提供参考。（现诊断板块仅支持“广告计划”的实验对象）
设置基本信息 可自由为实验组设置名称，方便查找，最后点击【完成新建】即可完成实验创建，并可以在AD实验工具列表中看到。
【实验编辑】：当实验状态正在排期未开始实验可以编辑 ：实验开始时间、实验结束时间、以及实验名称。实验开启后，可编辑：实验结束时间、实验名称。
（二）实验数据查询 点击AB实验工具，查看表单中点击【详情】、【报告】。
点击【详情】，选择【广告计划】对象设置的实验可查看设置基本信息，预估值（指在实验对象度过学习期的情况下，完成实验所需样本充足度的预估值），百分比越高表示该实验的样本充足度越高，目标值在“>80%时再进行开启实验最佳，“<80%也能开始实验。
点击【报告】可查看所选择计划在同条件下AB测试的数据情况 【实验综合排名】是实验对象的点击率、转化率、平均转化成本的综合表现进行的排序，其中排序卡片下方的获胜概率该实验对象再进行一次一样的无挤压投放仍然成为第一的概率是多少
切换【数据指标】可切换指标至点击率、转化率、转化成本，并查看不同指标的获胜概率
【详细数据】表格中会展示指标的获胜概率、指标波动范围、以及常规投放指标（下期迭代会支持自定义指标）
（以上图示仅供参考，不代表真实效果）
四、常见Q&A
Q1： 配置实验时预估实验样本充足度是什么意思？
答：预估实验样本充足度是指在实验对象起量后，对实验对象样本充足度的预估。
Q2:当实验的预估实验样本充足度<80%时是否能开始实验？
答：可以开始实验， 但建议在确保实验中的广告计划/组有足够预算，出价合理，且实验与快手广告投放有足够的重叠时间下进行实验。
Q3：实验报告的获胜概率是什么意思？
答：获胜概率指如果我们再做一次一模一样的实验，得到相同实验结论的概率是多少。
Q4:为什么实验对象的获胜概率比较低？
答：实验可信度受实验对象数据量，实验对象间的差异大小，实验对象数据的波动（方差）影响。
获胜概率低可能是因为：
1. 实验的曝光、点击、转化数不够；
2. 各实验对象间数据并没有什么差异；
3. 实验对象的实验指标波动较大并不稳定。
Q5:为什么快手广告计划C,D,E的点击率相同，但C的获胜概率更高？
答：实验报告并非仅根据实验指标作为判断优质计划的依据，系统同时也会考虑实验对象的数据稳定性。
虽然C,D,E的点击率一样，但由于C的点击率表现更加稳定，因此C会被系统判定为优质广告计划。
总体上来说系统会将实验指标表现优异且波动小的实验对象识别为“效果较好”广告计划/组。
Q6:实验周期和投放周期在报告解读上的区别？
答：实验报告仅对实验周期内的快手广告数据表现进行计算，仅能代表实验周期内实验指标的表现结果。
Q7:什么时候结束实验比较合适？
答：建议在实验得出获胜概率较高的计划/组后，或实验有明显结论后再调整实验状态，结束实验。结束实验后可以关停获胜概率较低的计划/组的投放，将更多的资源倾向优质计划/组。
Q8:使用工具时感觉组/计划起量有问题，是否和AB实验工具相关，或者能否靠AB工具解决？
答：AB实验工具本身是为需要对比的快手广告计划或广告组提供一个不相互竞争的无偏实验场景。不解决在竞争投放环境下计划本身的起量问题。没有起量的计划在实验中会被认定为数据量不足，无法得出统计上可信的结论。
