AB检验里的spillover effect是什么意思?有时候看到spillover effect这个词,但是网上完整的资料又非常少。
请求熟悉这个概念的大神解释一下下~
1个回答
AB Test的时候,我们希望实验组和对照组是独立的,此外我们也希望实验组中的每个个体也是独立的。
Spillover effect就是溢出效应,就是实验组受到Treatment之后对对照组也有了影响;或者实验组的个体对其他实验组的个体也有影响。
举例来说,微博做一个实验,希望是实验组的人能够多发微博;实验组的人在实验中受实验效果影响,开始多发微博了,对照组中的用户他们可能是实验组中用户的粉丝,结果他们看到了很多微博,然后对照组也被带动着开始发更多微博;这个时候实验的效果就不仅仅在实验组有效,在对照组上也开始生效。这个就是会有溢出效应了。
为防止溢出效应,一般会用cluster sampling,就是按有联系的人群进行分组,而不是直接按单个用户进行AB分组。