怎么在pyspark中查看一个表格的partition?

  算法/数据结构/数据库 Python    浏览次数:462        分享
0

怎么在pyspark中查看一个表格的partition?

d = spark.table('db.tbl_merchandise')

上面的表格d,然后怎么查看d的partition呢?

 

猴老大   2019-08-01 22:37



   1个回答 
2


spark.sql('SHOW PARTITIONS db.tbl_merchandise').show()
SofaSofa数据科学社区DS面试题库 DS面经

wxw_pku   2019-08-09 12:27

多谢! - 猴老大   2019-08-11 14:10


  相关主题

pyspark里unpersist()什么作用?   1回答

pyspark里如何进行SELECT DISTINCT操作?   1回答

sparkml里的word2vec是基于哪种模型的?   1回答

怎么将两个pyspark dataframe以串联的形式合并?   1回答

怎么在pyspark里把dataframe写入csv文件?   1回答

得到一个pyspark.sql.dataframe中所有列的名称   2回答

如何获取pyspark DataFrame的行数和列数?   1回答

pyspark中怎么对dataframe里的行按照列去重?   1回答

怎么对pyspark.sql.dataframe按照某一列降序排列?   1回答

返回pyspark dataframe的行数?   1回答

怎么对pyspark dataframe里的空缺值填值?   1回答

SparkML里线性回归底层是什么原理?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!