hive和spark读取kudu表
从impala中创建kudu表之后，如果想从hive或spark sql直接读取，会报错： Caused by: java.lang.ClassNotFoundException: com.cloudera.kudu.hive.KuduStorageHandler at java.net.URLC...
[Spark SQL]Spark SQL读取Kudu，写入Hive
SparkUnitFunction：用于获取Spark Session package com.example.unitl import org.apache.spark.sql.SparkSession object SparkUnit { def getLocal(appName: String): SparkSession = { ...
SPARK-SQL内置函数之时间日期类
转载请注明转自：http://www.cnblogs.com/feiyumo/p/8760846.html 一、获取当前时间 1.current_date获取当前日期 2018-04-09 2.current_timestamp/now()获取当前时间 2018-04-09 15:20:49.2...
重点---版本问题-Spark中的一次ClassNotFoundException排除
前阵子，我把实验室小集群上的spark从2.0.0升级到了2.1.1，当时直接排除掉了一个hdfs-site.xml文件不一致的错误（估计这是2.0.0版本的一个BUG），而且跑了一下测试代码，一切OK。 可是，今天...
指定列的Spark sql问题
由于Spark SQL不支持insert语句中的列列表，因此出现此错误。所以从insert语句中排除列列表。 下面是我的hive表： 0: jdbc:hive2://hpchdd2-zk-1.hpc.ford.com:218> select * from UDB...
WPF中使用代码触发按钮事件。
1.bt1.RaiseEvent(new RoutedEventArgs(Button.ClickEvent)); 问题：这样调用按钮事件有可能引发错误：调用线程无法访问此对象，因为另一个线程拥有该对象。 2.解决方法 这个问题出现的原因...
java 如何在Java应用中提交Spark任务？
https://www.cnblogs.com/xing901022/p/8538713.html
Spark（一）Spark简介
一、官网介绍 1 什么是Spark 官网地址：http://spark.apache.org/ Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP...
Spark（二）CentOS7.5搭建Spark2.3.1分布式集群
一 下载安装包 1 官方下载 官方下载地址：http://spark.apache.org/downloads.html 2 安装前提 Java8 安装成功 zookeeper 安装参考：C...
Spark（三）RDD与广播变量、累加器
一、RDD的概述 1.1 什么是RDD RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD...