评估要运行的测试有多大
测试是Seer提高付费媒体性能的重要组成部分。
随着用户行为的不断变化和新的竞争对手的出现,确保持续运行测试以提高付费媒体活动的表现是很重要的。
然而,每当一项测试投入市场,就会伴随着风险。有总是测试失败和转换量丢失的机会-这只是游戏的一部分。
作为付费媒体专业人士,我们有责任计算风险,将其呈现给客户,并根据数据和客户目标提出建议。
确定你愿意冒多大的风险
风险承受能力因测试而异,因客户而异。然而,在评估将要运行的测试有多大时,这个问题应该始终是最重要的。
首先计算风险并确定测试中包含哪些活动。
看看“权衡风险”一节我写的博客文章。它将帮助您确定如何在测试中包含哪些活动,以及如何计算转换风险。
一个重要的经验法则是,如果你想将控制和测试活动包括在你的测试中,那么确保你的控制和测试活动在过去30天内至少有20次转换。
从小处开始,大处结束
即使客户有很高的风险承受能力,我总是建议从小处开始,如果有积极的结果,就增加测试的规模。
例如,如果你正在进行A/B测试,你的活动在过去30天内创造了100次转换,那么你就应该将流量分成80/20。
这意味着80%的流量流向控制活动,而只有20%流向测试活动。
这允许您进行更保守的测试,其中您将达到20个转换阈值测试的最小值,同时将处于风险中的转换量最小化。
如果您从这个测试中看到了积极的性能,那么您可以开始随着时间的推移慢慢增加驱动到测试活动的流量。
这看起来像是,在两周的强劲表现后,将80/20的流量分成增加到70/30。假设这种积极的趋势继续下去,一直增加到50/50。
一旦你达到了50/50的比例,并且从测试活动中看到了增加的转化率(或KPI目标的改进),你就可以满怀信心地将测试策略全面投入市场。
这种方法允许您从一个更保守的测试开始,以最小化风险,并随着时间的推移增加测试的规模,直到测试完全实现到您的活动策略中。
这适用于任何类型的测试。无论您是在测试投标策略、广告文案、新的活动结构,还是任何其他类型的测试,您都可以从小规模开始,然后逐步增加,以将转换损失的风险降至最低。
测试规模很重要
考虑测试的大小是很重要的,它可以决定您的客户或业务的性能。因此,您需要花时间增加适当的测试大小,以使数据更准确。
现在,您可以通过上述流程计算并降低风险,而不是从一个将一半(或全部)帐户转换置于风险中的大型测试开始。
这个过程始于确定要在测试中包含哪些活动计算有风险的转换量,并评估你要启动的测试有多大。
现在走出去,继续测试吧!