REST API与Spark交互
我正在尝试将我的Spark上下文与REST API连接起来。所以我的流程就是这样，我从我的UI-nodejs发送请求到REST API，它需要与spark上下文（Spark作业在hive表之上工作）进行交互，其中包含所需的响应并将其发送回UI进行显示。有没有办法实现这个目标？ UI < - > REST API < - > Spark（HDFS）
回答如下：你可以使用Apache Livy。它专为此用例而设计。我们过去曾使用它来控制Spark集群上的批处理和常规作业。
REST API与Spark交互
我正在尝试将我的Spark上下文与REST API连接起来。所以我的流程就是这样，我从我的UI-nodejs发送请求到REST API，它需要与spark上下文（Spark作业在hive表之上工作）进行交互，其中包含所需的响应并将其发送回UI进行显示。有没有办法实现这个目标？ UI < - > REST API < - > Spark（HDFS）
回答如下：你可以使用Apache Livy。它专为此用例而设计。我们过去曾使用它来控制Spark集群上的批处理和常规作业。