pyspark里如何进行SELECT DISTINCT操作?

  统计/机器学习 Python    浏览次数: 36
0

sql里可以SELECT DISTINCT col1, col2 FROM tab

怎么对pyspark的dataframe进行这样的select distinct的操作呢?

 

thatdeep   2018-11-08 10:54



   1个回答 
1


df.select('Col1', 'Col2').distinct()


SofaSofa数据科学社区 DS面经 问答 实战

AlphaCat   2018-11-08 19:51



  相关主题

返回pyspark dataframe的行数?   1回答

pyspark dataframe的collect()方法是什么意思?   2回答

怎么对pyspark dataframe更改列名   1回答

得到一个pyspark.sql.dataframe中所有列的名称   2回答

如何对pyspark dataframe删除一列   2回答

怎么将两个pyspark dataframe以串联的形式合并?   1回答

pyspark里unpersist()什么作用?   1回答

怎么把pyspark RDD dataframe转为pandas.DataFrame?   1回答

pyspark groupby 加权平均?   1回答

在jupyter notebook后台进程没关闭的情况下,只要是之前使用过且没有shutdown的notebook一直会占用内存吗?   2回答

from __future__ import division是什么意思   1回答

引用报错ImportError: No module named stats   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!