计算统计显著性的营销工具

一位客户问道：“在我们的下一轮邮件营销活动中，我们有6,000个可用的姓名。我们应该先使用两种主题行测试3,000个姓名，然后再向剩下的3,000个人发送获胜信息？还是直接向所有6,000个人发送邮件，并在整个列表上进行A/B测试？”我的回答是：选择B（直接发送整个列表）。原因如下：通常，我赞成“先测试再推广”的策略，但在这种情况下，客户实际上没有足够的人数来进行这样的测试。对于更大的列表，先使用样本进行消息测试是最大化整体响应和最小化风险的好方法。例如，在向内部和租借的列表组合进行广播时，通常可以先在免费的内部姓名上测试消息（或者提供的内容等），然后将获胜版本推广给成本更高的租借姓名。（注意：由于内部列表并不是租借文件的一个样本，从技术上讲，这并不是一个纯粹的测试。）然而，在上述客户情景中，即使这个邮件营销活动能够产生4%的响应率，为了达到统计显著性，两个测试组的差异需要显著大于1%。例如：1,500个姓名 x 4% = 60个响应 1,500个姓名 x 5% = 75个响应 15个姓名的差异并不足以自信地归因于抽样误差之外的因素。我得出这个结论不仅仅是凭直觉 - 你可以通过这个简单的在线计算器轻松确定统计显著性。根据计算器，在上述情况下，为了达到统计显著性，第二个测试组的响应率需要达到6% - 比对照组高出50%。换句话说，为了使1%的响应差异达到显著，样本大小需要超过3,000个姓名。