Spark（十四）SparkStreaming的官方文档
一、SparkCore、SparkSQL和SparkStreaming的类似之处 二、SparkStreaming的运行流程 2.1 图解说明 2.2 文字解说 1、我们在集群中的其中一台机器上提交我们的Application Jar，然...
Spark（十五）SparkCore的源码解读
一、启动脚本分析 独立部署模式下，主要由master和slaves组成，master可以利用zk实现高可用性，其driver，work，app等信息可以持久化到zk上；slaves由一台至多台主机构成。Driver通过向Maste...
spark提交任务的两种的方法
在学习Spark过程中，资料中介绍的提交Spark Job的方式主要有两种（我所知道的）： 第一种: 通过命令行的方式提交Job,使用spark 自带的spark-submit工具提交，官网和大多数参考...
hadoop详细笔记(十七) 将MapReduce程序提交到Yarn上运行
1 windows上System.setProperty("HADOOP_USER_NAME", "root");Configuration conf = new Configuration();// 设置访问的集群的位置conf.set("fs.defaultFS", "hdfs://doit01:9000");// 设置y...
java 如何在Java应用中提交Spark任务？
最近看到有几个Github友关注了Streaming的监控工程——Teddy，所以思来想去还是优化下代码，不能让别人看笑话啊。于是就想改一下之前觉得最丑陋的一个地方——任务提...
java Maven构建java项目为可执行的jar包(包含依赖jar包)
本文参考 Maven构建可执行的jar包(包含依赖jar包) 感谢！ 1.在java项目的pom.xml文件添加如下代码: <!-- maven 打包集成插件 --> <build> <plugins> <plugin> ...
java 从Java代码远程提交YARN MapReduce任务
在Hadoop上运行MapReduce任务的标准做法是把代码打包到jar里面，上传到服务器，然后用命令行启动。如果你是从一个Java应用中想要启动一个MapReduce，那么这个方法真是又土又麻烦...
在 YARN 上运行 mapreduce 的 jar 包
想学习运行一个mapreduce程序试试，记录如下 本地运行word count 新建maven项目，添加hadoop-client，版本比如3.1.2官方的wordcount直接拿来用就可以需要把winutils.exe和hadoop.dll放到环...
本地idea开发mapreduce程序提交到远程hadoop集群执行
https://www.codetd.com/article/664330 https://blog.csdn.net/dream_an/article/details/84342770 通过idea开发mapreduce程序并直接run，提交到远程hadoop集群执行m...
CDH搭建Hadoop集群(Centos7)
一、说明 节点(CentOS7.5) Server || Agent CPU node11 Server || Agent 4G node12 Agent 2G node13 Agent 2G 二、系统环境搭建 1、网络配置(所有节点) 1．...