怎么在pyspark里把dataframe写入csv文件?

  统计/机器学习 Python    浏览次数:9203        分享
0

怎么在pyspark里把dataframe写入csv文件?

 

cannon   2019-05-23 22:15



   2个回答 
4


df.write.csv('mycsv.csv')
SofaSofa数据科学社区DS面试题库 DS面经

abuu   2019-05-25 14:58

2

楼上这样写会把文件写到hdfs上,如果数据量小的话,可以考虑df.toPandas().to_csv('mycsv.csv')直接拿到本地,数据大的话就算了。

SofaSofa数据科学社区DS面试题库 DS面经

wwb_306   2020-06-09 17:10



  相关讨论

pyspark dataframe的collect()方法是什么意思?

如何获取pyspark DataFrame的行数和列数?

pyspark里如何进行SELECT DISTINCT操作?

返回pyspark dataframe的行数?

怎么对pyspark dataframe更改列名

得到一个pyspark.sql.dataframe中所有列的名称

怎么将两个pyspark dataframe以串联的形式合并?

pyspark中怎么对dataframe里的行按照列去重?

怎么对pyspark.sql.dataframe按照某一列降序排列?

pyspark里unpersist()什么作用?

  随便看看

Random Forest可以用来做聚类?

柯西分布没有数学期望

kNN算法有哪些缺点?

如何调节seaborn里字体大小?

为什么机器学习中的优化问题很少用到牛顿法?