大数据 【Spark】Spark On Yarn 安装
一、下载和解压https://archive.apache.org/dist/spark/spark-2.3.1/tar zxv -f spark-2.3.1-bin-hadoop2.7.tgz mv spark-2.3.1-bin-hadoop2.7/ spark-2.3.1二、...
大数据 Hadoop之Spark集群安装配置
1. 安装模式 1. 本地模式 仅在一台计算机上安装Spark 2. 集群模式 Standalone 独立部署模式，该模式下系统采用Spark自带的简...
大数据 （五）springboot 配置多数据源连接mysql和hive
项目结构如下mysql 执行如下建表语句，并插入一条测试数据CREATE TABLE `user` ( `id` int(11) NOT NULL, `name` varchar(25...
大数据 使用hive的beeline连接报错hadoop is not allowed to impersonate hadoop (state=08S01,code=0)解决方案
使用hiveserver2时通过beeline -u jdbc:hive2://hadoop-master:21000 -n hadoop 连接hive执行insert语句报错 hadoop is not allowed to impersonate hadoop (state=08S01,co...
java 大数据 - Java实现提交作业到Hadoop集群
windows环境IntelliJ IDEAJDK1.8hadoop-2.8.5.tar.gz从官网上下载解压配置JDK，Hadoop https://hadoop.apache.org/releases.html 下载2.8.5版本Binary download并解压到自己喜欢的目录下。配...
大数据 大数据Hadoop生态圈介绍
大数据Hadoop生态圈-组件介绍 Hadoop是目前应用最为广泛的分布式大数据处理框架，其具备可靠、高效、可伸缩等特点。 Hadoop的核心组件是HDFS、MapReduce。随着处...
大数据 （四）hive的搭建2
在（三）hive的搭建1中我们搭建好了hive环境，但是只能本地访问，在本节中配置Hive的访问方式。1.元数据服务的方式1.1 编辑hive-site.xml sudo vi hive-site.xml在文件最后增...
大数据 （三）hive的搭建1
下载访问官方网站https://hive.apache.org/点击downloads点击Download a release now!点击https://dlcdn.apache.org/hive/选择最新的稳定版复制最新的url在linux执行下载命令wget ...
大数据 （二）hadoop搭建
1. 下载 访问https://hadoop.apache.org/releases.html查看hadoop最新下载地址wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz2.解压tar zxvf&nbs...