spark里怎么refresh表?

  统计/机器学习 Python sql    浏览次数:230        分享
0

跑一个程序spark提示报错(具体描述见下),大概的意思就是说要refresh table,请问应该怎么refresh呢?


The underlying files may have been updated. 
You can explicitly invalidate the cache in Spark by running 'REFRESH TABLE tableName' command in SQL or by recreating the Dataset/DataFrame involved.

谢谢

 

chang   2019-12-15 17:00



   2个回答 
2


import org.apache.spark.sql.hive.HiveContext
hiveContext.refreshTable("tableName")


SofaSofa数据科学社区DS面试题库 DS面经

風霖   2019-12-16 11:23

0


spark.catalog.refreshTable("my_table")


SofaSofa数据科学社区DS面试题库 DS面经

Nagozi   2019-12-19 14:34



  相关主题

spark sql里怎么用case when?   1回答

pyspark中怎么对dataframe里的行按照列去重?   1回答

pyspark dataframe的collect()方法是什么意思?   2回答

怎么对pyspark dataframe更改列名   2回答

pyspark里如何进行SELECT DISTINCT操作?   1回答

pyspark里怎么把类似‘yyyy-mm-dd‘的字符串转成星期几的形式?   1回答

怎么将两个pyspark dataframe以串联的形式合并?   1回答

如何获取pyspark DataFrame的行数和列数?   1回答

如何对pyspark dataframe删除一列   3回答

pyspark里unpersist()什么作用?   1回答

SparkML里线性回归底层是什么原理?   1回答

怎么对pyspark.sql.dataframe按照某一列降序排列?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!