AB实验里的灰度实验概念是什么意思?

  统计/机器学习 AB Test    浏览次数:4661        分享
0

请教一下各位,AB实验里的灰度实验概念是什么意思?

 

ML新手   2019-11-06 12:50



   2个回答 
4

灰度实验是在AB实验中从旧版本过度到新版本的过渡阶段。

在传统的AB实验中,我们会把流量或者用户分成两组,一组是A(原版本、对照组)一组是B(新版本、实验组)。然后开始实验并收集指标,如果实验组表现良好,那么新版本将部署在整个网站上。如果一开始B占到整个网站的5%,如果实验成功,那么我们立即会将5%跳到100%,也就是一下从黑跳到白。

灰度实验是如果B效果好,我们将B的占比从5%调整到15%,然后30%慢慢逐步调整到100%。

这个方法的好处是可以保证整体系统的稳定、及早获得用户的意见反馈、降低产品升级所影响的用户范围。

SofaSofa数据科学社区DS面试题库 DS面经

sasa   2019-11-17 08:46

2

我觉得灰度和AB实验是两回事。

AB实验是为了测试B的效果,效果好就进行,不好的话,新版本就不会上线。

灰度是为了上线,而不是为了测试效果,是为了让整个上线过程进行平稳的过渡,有的是为了软件或者网络上的压力测试。一般来说为了灰度中先开发的那些用户也是有挑选的,而不是随机的。目的和AB是完全不同的。

SofaSofa数据科学社区DS面试题库 DS面经

数据科学小K   2020-05-31 22:45



  相关讨论

AB测试样本量的问题

AB实验的哈希分桶技术是什么意思?

AB Testing里Geo Hashing是什么意思?

AB检验里的spillover effect是什么意思?

双盲实验是什么意思?

如果样本不是正态分布,还能用t-test或者z-test吗?

AB检测里selection bias是什么?

MAB里的tompson抽样算法是怎么操作的?

怎么提高一个假设检验的效力(power)?

如何从假设检验的角度去理解AB testing

  随便看看

pandas.DataFrame的index重新排列(从0开始)

plt.show()之后matplotlib图像依然不展示

如何获取pyspark DataFrame的行数和列数?

什么是SMOTE sampling方法?

向量梯度下降优化的最佳步长?