pyspark里unpersist()什么作用?

  统计/机器学习 Python    浏览次数: 835
0

pyspark里unpersist()什么作用?

 

thatdeep   2018-05-21 22:56



   1个回答 
5

unpersist()是释放(缓存)的意思。所以对应着的是df.cache()。

有时候为了处理的速度,我们将某个dataframe放入缓存

df.cache()

使用完这个数据,我们需要把这个dataframe从缓存中释放出来。释放的命令就是

df.unpersist()


SofaSofa数据科学社区 DS面经 问答 实战

kidd23   2018-05-28 07:33

好的谢谢! - thatdeep   2018-06-09 05:20


  相关主题

返回pyspark dataframe的行数?   1回答

得到一个pyspark.sql.dataframe中所有列的名称   2回答

怎么将两个pyspark dataframe以串联的形式合并?   1回答

如何对pyspark dataframe删除一列   2回答

pyspark里如何进行SELECT DISTINCT操作?   1回答

pyspark dataframe的collect()方法是什么意思?   2回答

怎么对pyspark dataframe更改列名   1回答

怎么把pyspark RDD dataframe转为pandas.DataFrame?   1回答

pyspark groupby 加权平均?   1回答

gc.collect()返回值是什么意思   1回答

python如何读取元素中含有逗号的csv文件   1回答

怎么把一个大的dataframe按行分割成若干个小的dataframe。   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!