hive sql里有percentile_approx的函数可以近似求百分位数，pyspark里没有这个函数，怎么在pyspark里求百分位数？
1个回答
比如你要对ID进行groupby得到val这列第25和75百分位数，那么可以这么操作
percentiles = F.expr('percentile_approx(val, array(0.25, 0.75))')
new_data = data.groupby('ID').agg(percentiles)
简Cheng
2020-02-26 20:30
太牛X了，谢谢
-
chang
2020-02-29 22:08
相关主题
pyspark里怎么把类似‘yyyy-mm-dd‘的字符串转成星期几的形式？
1回答
如何获取pyspark DataFrame的行数和列数？
1回答
怎么在pyspark中查看一个表格的partition？
1回答
pyspark里如何进行SELECT DISTINCT操作？
1回答
我们谢绝在回答前讲“生动”的故事。
我们谢绝“这么简单，你自己想”、“书上有的，你认真看”这类的回答；如果你认为对方的提问方式或者内容不妥，你可以直接忽略该问题，不用进行任何作答，甚至可以对该问题投反对票。
我们谢绝答非所问。
我们谢绝自己不会、硬要回答。
我们感激每一个用户在编写答案时的努力与付出！