中间件 Windows 下 Kafka 安装教程(保姆级)

一、准备工作✅ 1. 安装 Java JDK(Kafka 依赖 Java 运行环境)Kafka 是基于 Java 的,必须先安装 JDK。一般学到kafka的同学肯定已经安装好了JDK了,这一步我就不写了,具体可以参考其他文章...

29 天前 130 阅读

中间件 实战!用 Flink 打通 Kafka 到 MySQL 的数据链路,附完整代码​

实战!用 Flink 打通 Kafka 到 MySQL 的数据链路,附完整代码在实时数据处理场景中,“Kafka 接收数据 + Flink 处理数据 + MySQL 存储结果” 是非常经典的架构。比如用户行为日志实时统计、订...

29 天前 105 阅读

springboot Spring Boot 项目中集成 Kafka 和 Flink:构建实时数据流处理系统

        导语:在现代数据处理中,Spring Boot 项目集成 Kafka 和 Flink 流处理框架是实现实时数据处理和分析的关键。本文将为您介绍具体步骤和相关代码,帮...

2024-05-15 743 阅读

中间件 kakfa可视化工具Offset Explorer/kafka-Tool 的使用

前言当要读取kafka 中的数据时,在服务器上查看比较麻烦,数据量较大,也不是很直观。此时就需要一款简洁,使用方便的可视化工具了,嘻嘻, Offset Explorer (以前叫:kafka-Tool ) 就是一...

2024-05-15 615 阅读

java Kafka 使用Java实现数据的生产和消费demo

前言 在上一篇中讲述如何搭建kafka集群,本篇则讲述如何简单的使用 kafka 。不过在使用kafka的时候,还是应该简单的了解下kafka。 Kafka的介绍 Kafka是一种高吞吐量的分布式发布订阅消息系...

2022-12-10 559 阅读

spring springboot+kafka+sparkstreaming 生产及消费数据-超简单实例

springboot+kafka+sparkstreaming 生产及消费数据-超简单实例 kafka生产者实例: import org.apache.kafka.clients.producer.Callback;import org.apache.kafka.clients.producer.KafkaProd...

2022-12-10 754 阅读

java java8下spark-streaming结合kafka编程(spark 2.3 kafka 0.10)

前面有说道spark-streaming的简单demo,也有说到kafka成功跑通的例子,这里就结合二者,也是常用的使用之一。 1.相关组件版本 首先确认版本,因为跟之前的版本有些不一样,所以才有必要记录...

2022-12-10 596 阅读

kafka Spark 2.1.2 Streaming + Kafka 1.1.0 -- 在IDEA中通过Maven创建Spark项目

一、开发环境中需要安装和配置如下安装JDK,配置JDK环境变量(jdk1.8)安装Scala,配置JDK环境变量(scala2.11.8)最好安装一个Maven,虽然Idea已经集成自带的有Maven测试环境中已经安装有Zookeep...

2022-12-10 550 阅读

java Kafka学习(三)——Java工具类、Springboot集成批量消费、SparkStreaming集成

前言本次记录全部来自工作学习中,总结和测试。并非生产环境,仅供参考使用! 提示:以下是本篇文章正文内容,下面案例可供参考 一、Java中工具类常用于测试使用~ 1. 添加maven依赖<depen...

2022-12-10 916 阅读

kafka Kafka单机安装

一、Kafka简介 ​ Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的 分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据...

2022-12-10 538 阅读