启动thriftserver.sh
一：启动流程$ cd sbin$ ./start-thriftserver.shstarting org.apache.spark.sql.hive.thriftserver.HiveThriftServer2, logging to /home/hadoop/app/spark-2.4.0-bin-2.6.0-cdh5.7.0/logs/...
SparkSession、SparkContext、SQLContext和HiveContext之间的区别。
SparkContext 是什么? 驱动程序使用SparkContext与集群进行连接和通信，它可以帮助执行Spark任务，并与资源管理器(如YARN 或Mesos)进行协调。 使用SparkContext，可以访问其他上下文，比如S...
spring spring-boot集成spark并使用spark-sql
首先添加相关依赖： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" x...
spring springboot-集成spark
1.pom.xml <dependency> <groupId>org.springframework.data</groupId> <artifactId>spring-data-hadoop</artif...
spark远程调试代码报错 StandaloneAppClient$ClientEndpoint: Failed to connect to master 192.168.126.128:7077
一、分析原因：查看服务器的远程端口绑定ip 这边显示绑定的是127.0.0.1：7077表示只能本地访问 正确的访问方式为：局域网Ip:7077 二、查看启动脚本设置： &nb...
java MapReduce wordcount 输入路径为目录 java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Ljava/lang/String;)Lorg/apache/hadoop/io/nativeio/NativeIO$POSIX$Stat;
之前windows下执行wordcount都正常,今天执行的时候指定的输入路径是文件夹,然后就报了如题的错误,把输入路径改成文件后是正常的,也就是说目前的wordcount无法对多个文件操作 报的异常是get...
SparkSQL 运行异常：org/codehaus/janino/InternalCompilerException 执行SparkSQL时出现异常：
Exception in thread "main" java.lang.NoClassDefFoundError: org/codehaus/janino/InternalCompilerException at org.apache.spark.sql.catalyst.expressions.codegen.GenerateSafePr...
build.gradle中引入jar
只需在 dependencies{}中添加： compile fileTree(include: , dir: 'libs')
linux Linux 命令神器：lsof
lsof是系统管理/安全的尤伯工具。将这个工具称之为lsof真实名副其实，因为它是指“列出打开文件（lists openfiles）”。而有一点要切记，在Unix中一切（包括网络套接口）都是文...
spring springBoot多数据源配置，如mysql、hive，使用druid连接池
总共需要以下几个类： package com.config.datasource; import com.alibaba.druid.pool.DruidDataSource;import lombok.extern.slf4j.Slf4j;import org.springframework.beans.factory.annot...