Kubernetes Spark on K8S （Kubernetes Native）
Spark on K8S 的几种模式 Standalone：在 K8S 启动一个长期运行的集群，所有 Job 都通过 spark-submit 向这个集群提交 Kubernetes Native：通过 spark-submit 直接向 K8S 的 API Server 提...
Impala原理及其调优
Impala支持的文件格式 Impala可以对Hadoop中大多数格式的文件进行查询。它能通过create table和insert的方式将一部分格式的数据加载到table中，但值得注意的是，有一些格式的数据它是无法写...
Spark认识&环境搭建&运行第一个Spark程序
摘要：Spark作为新一代大数据计算引擎，因为内存计算的特性，具有比hadoop更快的计算速度。这里总结下对Spark的认识、虚拟机Spark安装、Spark开发环境搭建及编写第一个scala程序、运行第一个...
Spark任务提交方式和执行流程
转自：http://www.cnblogs.com/frankdeng/p/9301485.html 一、Spark集群模式概述 Spark 应用在集群上作为独立的进程组来运行，在您的main程序中通过SparkContext来协调（称之为driver程序）...
Llama－impala on yarn的中间协调服务
本文基于CDH发行版下的Hadoop Yarn和Impala 早期的Impala版本中，为了使用Impala，我们通常会在以Client/Server的结构在各个集群节点启动impala-server、impala-state-store和impala-...
java spark sql在scala与java中的代码实现
在编写spark sql代码前，需要新建maven工程，将hadoop下的配置文件core-site.xml和hdfs-site.xml,以及hive中的hive-site.xml拷贝到工程的resource目录下，并在pom.xml中配置jar包信息。 pom....
SQL执行计划详解explain
1.使用explain语句去查看分析结果 如explain select * from test1 where id=1;会出现：id selecttype table type possible_keys key key_len ref rows extra各列。 其中， type=...
SparkSQL访问Hive遇到的问题及解决方法
需要先将hadoop的core-site.xml，hive的hive-site.xml拷贝到project中测试代码def main(args: Array): Unit = { val spark: SparkSession = SparkSession .builder() .appName(...
apache org.apache.thrift.transport.TTransportException: null
问题描述 每次client调用server端，均有正常返回，但是server端还会多打出一些异常信息，如下。 org.apache.thrift.transport.TTransportException: null at org.apache.thrift.trans...
spark sql连接hive（local方式）---自测通过
<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.12</artifactId> <version>0.11.0.0</version></dependenc...