怎么在pyspark中查看一个表格的partition？

  算法/数据结构/数据库 Spark    浏览次数：2970        分享
二维码
手机扫描二维码
  机器学习面试也能刷题？
0

怎么在pyspark中查看一个表格的partition？

d = spark.table('db.tbl_merchandise')

上面的表格d，然后怎么查看d的partition呢？

 

猴老大   2019-08-01 22:37


   1个回答 
2


spark.sql('SHOW PARTITIONS db.tbl_merchandise').show()
SofaSofa数据科学社区DS面试题库 DS面经

wxw_pku   2019-08-09 12:27

多谢！ - 猴老大   2019-08-11 14:10


  相关讨论

pyspark获取当月的最后一天的日期？

pyspark里转成整数型报错TypeError: unexpected type:

pyspark里怎么把类似‘yyyy-mm-dd‘的字符串转成星期几的形式？

pyspark的dataframe里怎么count每一列的null的数量？

pyspark里怎么查看一个dataframe的schema？

怎么对pyspark的dataframe进行随机抽样？

hive和spark sql的区别是什么？

怎么用pyspark取出hive表里的json串中某一个key的值？

pyspark里怎么求百分位数？

怎么对pyspark dataframe更改列名

  随便看看

点击率的95%置信区间该怎么算？

随机森林(random forest)和支持向量机(SVM)各有什么优劣

dataframe每行或者每列中缺失值(na, nan, null)的个数

去掉pandas DataFrame的index的名字

怎么对pandas dataframe的列求众数