pyspark里unpersist()什么作用?

  统计/机器学习 Python    浏览次数: 672
0

pyspark里unpersist()什么作用?

 

thatdeep   2018-05-21 22:56



   1个回答 
3

unpersist()是释放(缓存)的意思。所以对应着的是df.cache()。

有时候为了处理的速度,我们将某个dataframe放入缓存

df.cache()

使用完这个数据,我们需要把这个dataframe从缓存中释放出来。释放的命令就是

df.unpersist()


kidd23   2018-05-28 07:33

好的谢谢! - thatdeep   2018-06-09 05:20


  相关主题

得到一个pyspark.sql.dataframe中所有列的名称   2回答

返回pyspark dataframe的行数?   1回答

怎么对pyspark dataframe更改列名   1回答

怎么将两个pyspark dataframe以串联的形式合并?   1回答

如何对pyspark dataframe删除一列   2回答

怎么把pyspark RDD dataframe转为pandas.DataFrame?   1回答

怎么合并(串联)两个dataframe?   1回答

Jupyter中InteractiveShell.ast_node_interactivity = "all"有什么用?   1回答

map lambda if逗号报错,invalid syntax   1回答

用python生成一个取值在a到b之间的随机矩阵   1回答

jupyter中怎么忽略所有的warning   1回答

python如何读取元素中含有逗号的csv文件   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!