pyspark dataframe的collect()方法是什么意思?

  统计/机器学习 Python    浏览次数:10811        分享
0

pyspark dataframe的collect()方法是什么意思?有什么用?

 

thatdeep   2018-10-28 03:03



   2个回答 
3

spark_df.collect()相当于spark_df.show(全部行)

就是一次性把这个dataframe里的所有行显示出来

SofaSofa数据科学社区DS面试题库 DS面经

曾经是科比   2018-10-28 12:13

2

https://stackoverflow.com/questions/44174747/spark-dataframe-collect-vs-select


SofaSofa数据科学社区DS面试题库 DS面经

dizhouw2   2018-10-28 03:52



  相关讨论

怎么对pyspark dataframe更改列名

pyspark里如何进行SELECT DISTINCT操作?

怎么对pyspark.sql.dataframe按照某一列降序排列?

返回pyspark dataframe的行数?

pyspark里unpersist()什么作用?

怎么在pyspark里把dataframe写入csv文件?

pyspark中怎么对dataframe里的行按照列去重?

怎么将两个pyspark dataframe以串联的形式合并?

如何获取pyspark DataFrame的行数和列数?

如何对pyspark dataframe删除一列

  随便看看

logloss的取值范围是多少?一般好的分类器能达到多少?

怎么对pandas dataframe的列求众数

两个凸函数相加,还是凸函数吗?

plt.scatter plot怎么让不同的类别有不同的颜色

hyperparameter与parameter的区别?