AB检测里selection bias是什么？

AB test中分成对照组和实验组，在实验开始前，对照组和实验组的样本和样本相关属性应该是同分布的。

但是实际过程中，由于对照组的样本和实验组的样本都是人为选定的，所以很难做到同分布，往往有偏差，这种偏差就是选择偏差(selection bias)。

比如想通过AB test检验一本辅导教材的效果，对照组是一个普通中学的全体学生，实验组是一个重点中学的全体学生。这两所学校的学生就不是同分布的。

比如想通过AB test检验一个在线汽车广告的效果，对照组是青年女性用户，实验组是中年男性用户。这两批人群也不是同分布的。这样选择样本都会有选择偏差。要做到无偏差，一般会通过完全随机取样。

通俗的讲.如果你想要测试两个产品的好坏，例如网站1.0和2.0。那么单独将拿给两波人用，再进行反馈统计，用户对网站的好评率就是比较的指标。

selection bias就是个来源于测试群体的“样本选择偏差”。再举个例子，例如两种型号键盘通过abtest比较好坏。得到统计结果实验者用a键盘错字率2%，b键盘错字率5%。看上去a键盘更好吧？但如果a键盘实验者是个程序员b键盘实验者是个小白呢？因为测试群体随机性，正如楼上的重点中学和普通中学学生能力不同。会导致*不客观结果*