如何从假设检验的角度去理解AB testing

  统计/机器学习 假设检验    浏览次数: 590
0

我大致知道AB testing经常运用于网页优化的测试过程中,但是对它的原理和使用中的注意事项理解得不是非常透彻,能不能用通俗的语言进行讲解。

 

sjtufrc   2017-09-14 10:46



   2个回答 
5

说白了A就是对照组(control),B就是实验组(test)。

我们想要比较A组和B组某个指标是否相同,对于网站来说,可以是转化率、点击率、流量等等。

一般是经过一段时间,积累了一定数量的样本,我们就可以有足够的样本进行假设检验了。

从假设检验的角度来说,零假设$H_0: S_A = S_B$,对立假设$H_1:S_A\neq S_B$,或者单侧的对立假设。

这个想法和生统里的case-control study是一个道理,比如A组的病人吃得是安慰糖,B组的病人吃得是降压药,然后对比A,B两组人的血压的均值,也就是可以用T Test来做假设检验。


AB Test包含的内容比单纯的假设检验更广。因为AB Test涉及到很多实验设计的部分。


Nagozi   2018-02-25 07:13

4

Ho: 我觉得用(某特定修改,比如颜色,文意)对于网页的(某种特质,比如点击率)没什么用

H1: 我觉得有用


mosthated   2018-02-25 03:05



  相关主题

假设检验中的p值是什么意思?为什么越小越好?   2回答

假设检验的效力是什么?   1回答

单侧T检验p值与双侧T检验p值的关系   1回答

z test和t test什么区别?   1回答

F检验的使用场景   3回答

t检验,需要测试集验证集吗?   3回答

配对T检验和两样本T检验是一回事么?   1回答

T检验的effect size是什么?有什么含义吗?   1回答

多重检验中的FDR(false discovery rate, 错误发现率)是什么?   2回答

多重比较校正   1回答

Python单侧T检验   1回答

多因素方差分析   3回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!