Spark on Hive【S负责SQL解析和优化(SparkSQL)、计算引擎;H只负责存储元数据;主流方式】、Hive on Spark【H负责SQL解析和优化、存储元数据;S充当计算引擎】
Spark on Hive【S负责SQL解析和优化(SparkSQL)、计算引擎;H只负责存储元数据;主流方式】、Hive on Spark【H负责SQL解析和优化、存储元数据;S充当计算引擎】
Hive on Spark:
- Hive既作为存储元数据又负责SQL的解析优化,语法是HQL语法,
- 执行引擎变成了Spark,Spark负责采用RDD执行。
Spark on Hive :
- Spark负责SQL解析优化,语法是Spark SQL语法,Spark负责采用RDD执行。
- Hive只作为存储元数据,
1、spark on hive
hive只作为存储角色,spark 负责sql解析优化,底层运行的还是sparkRDD
具体可以理解为spark通过sparkSQL使用hive语句操作hive表,底层运行的还是sparkRDD,
步骤如下:
1.通过sparkSQL,加载Hive的配置文件,获取Hive的元数据信息
2.获取到Hive的元数据信息之后可以拿到Hive表的数据
3.通过sparkSQL来操作Hive表中的数据
2、hive on spark
hive既作为存储又负责sql的解析优化,spark负责执行
这里Hive的执行引擎变成了spark,不再是MR。
这个实现较为麻烦,必须重新编译spark并导入相关jar包
目前大部分使用spark on hive
HiveSQL和SparkSQL的区别和联系_sparksql和hivesql的区别_万里长江横渡的博客-CSDN博客
最新文章
- cocosbuilder创建工程
- Java中int的取值范围
- Linux中mysql的重启
- GridView选中状态
- MSYS 1.0.11 + MinGW安装方法
- 朴素贝叶斯、贝叶斯网络分类器
- gallery3d的源码分析——入口
- 夜听崔健
- [SOA介绍]什么是SOA
- CaptureScreenshot捕捉画面截图截屏
- Java多线程同步和异步详解
- 最小二乘支持向量机(lssvm)回归预测(matlab)
- itoa()和atoi()函数详解
- 网页弹出对话框的几种代码
- Shiro详解
- shiro反序列化漏洞的原理和复现
- 在android项目上集成libyuv库以及使用libyuv库完成camera的缩放,旋转,翻转,裁剪操作