hive和spark sql的区别是什么?

  算法/数据结构/数据库 Spark Hive    浏览次数:660        分享
1

感觉两个都是在hadoop上的数据操作,本质上有区别吗?

 

burnout   2022-03-24 23:06



   1个回答 
0

spark sql也不一定是基于hadoop之上的,只是现在常用的场景是在hdfs之上使用spark。

Spark是在内存中计算,hive sql是提交后进行MapReduce在磁盘中计算。所以Spark会更快。

SofaSofa数据科学社区DS面试题库 DS面经

数据科学小K   2022-03-30 22:03



  相关讨论

怎么用pyspark取出hive表里的json串中某一个key的值?

pyspark里怎么求百分位数?

pyspark获取当月的最后一天的日期?

pyspark里转成整数型报错TypeError: unexpected type:

pyspark里怎么把类似‘yyyy-mm-dd‘的字符串转成星期几的形式?

怎么在pyspark中查看一个表格的partition?

pyspark里怎么查看一个dataframe的schema?

pyspark的dataframe里怎么count每一列的null的数量?

hive里的LEFT SEMI JOIN是什么JOIN?

怎么对pyspark的dataframe进行随机抽样?

  随便看看

修正R方(adjusted R square)是什么?

除了PCA,还有什么降维的方法?

如何在numpy array尾部增加一行

yolo v4和yolo v3的主要区别是什么?

回归中自变量和因变量的相关系数和回归系数(斜率)有什么关系?