java java连接kafka测试
①进入到kafka文件夹中修改配置文件：vim config/server.properties ②启动zookeeper： bin/zookeeper-server-start.sh config/zookeeper.properties 端口2181是Z...
java java spark 消费kafka_spark2.3 消费kafka数据
官网介绍 http://spark.apache.org/docs/2.3.0/streaming-kafka-0-10-integration.html#creating-a-direct-stream 案例pom.xml依赖 <dependency> <groupId>o...
spring 使用springboot构建rest api远程提交spark任务
github代码链接：github地址 1. spark集群及版本信息服务器版本：centos7hadoop版本：2.8.3spark版本：2.3.3使用springboot构建rest api远程提交spark任务，将数据库中的表数据存储到hdfs上...
spring spring boot 集成spark-streaming-kafka
主要思路：SparkContext由spring容器管理，在spring容器启动完毕后，执行spark-streaming-kafka，获取数据并处理。 1.spring容器中初始化SparkContext，代码片段如下： @Bean @ConditionalO...
java Kafka学习（三）——Java工具类、Springboot集成批量消费、SparkStreaming集成
前言本次记录全部来自工作学习中，总结和测试。并非生产环境，仅供参考使用！ 提示：以下是本篇文章正文内容，下面案例可供参考 一、Java中工具类常用于测试使用~ 1. 添加maven依赖<depen...
java java8下spark-streaming结合kafka编程（spark 2.3 kafka 0.10）
前面有说道spark-streaming的简单demo，也有说到kafka成功跑通的例子，这里就结合二者，也是常用的使用之一。 1.相关组件版本 首先确认版本，因为跟之前的版本有些不一样，所以才有必要记录...
spring springboot+kafka+sparkstreaming 生产及消费数据-超简单实例
springboot+kafka+sparkstreaming 生产及消费数据-超简单实例 kafka生产者实例： import org.apache.kafka.clients.producer.Callback;import org.apache.kafka.clients.producer.KafkaProd...
服务端 Hadoop各个服务端口列表
端口 Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集...
java java基础知识3--如何获取资源文件（Java中获取资源文件的url）
java开发中，常见的resource文件有：.xml,.properties,.txt文件等，后台开发中经常用到读取资源文件，处理业务逻辑，然后返回结果。 获取资源文件的方法说明getResource()返回:URL ...
java Java中File使用--创建文件
1.错误示范1，输出的是创建文件夹 D:\filepath\test\test.txt。 public class FileTest { public static void main(String args) throws IOException { String fileName = "test.t...