一、准备工作✅ 1. 安装 Java JDK（Kafka 依赖 Java 运行环境）Kafka 是基于 Java 的，必须先安装 JDK。一般学到kafka的同学肯定已经安装好了JDK了，这一步我就不写了，具体可以参考其他文章。⚠️ 注意：Kafka 3.9.0 要求本地必须安装 JDK 17 或以上版本。JDK 8 和 11 已不再被官…

实战！用 Flink 打通 Kafka 到 MySQL 的数据链路，附完整代码在实时数据处理场景中，“Kafka 接收数据 + Flink 处理数据 + MySQL 存储结果” 是非常经典的架构。比如用户行为日志实时统计、订单数据实时同步等场景，都离不开这套流程。今天就带大家从零搭建这套数据链路，包含完整的依赖配置、代码实现和环境准备，新…

        导语：在现代数据处理中，Spring Boot 项目集成 Kafka 和 Flink 流处理框架是实现实时数据处理和分析的关键。本文将为您介绍具体步骤和相关代码，帮助您在项目中快速集成 Kafka 和 Flink。      &nbs…

前言当要读取kafka 中的数据时，在服务器上查看比较麻烦，数据量较大，也不是很直观。此时就需要一款简洁，使用方便的可视化工具了，嘻嘻， Offset Explorer （以前叫：kafka-Tool ） 就是一个不错的选择。一、Offset Explorer 是什么？Offset Explorer （以前叫：kafka-Tool ）：学…

前言 在上一篇中讲述如何搭建kafka集群，本篇则讲述如何简单的使用 kafka 。不过在使用kafka的时候，还是应该简单的了解下kafka。 Kafka的介绍 Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。Kafka 有如下特性： 以时间复杂度为O(1)的方式提供消息持久化能力，即使对…

springboot+kafka+sparkstreaming 生产及消费数据-超简单实例 kafka生产者实例： import org.apache.kafka.clients.producer.Callback;import org.apache.kafka.clients.producer.KafkaProducer;import …

前面有说道spark-streaming的简单demo，也有说到kafka成功跑通的例子，这里就结合二者，也是常用的使用之一。 1.相关组件版本 首先确认版本，因为跟之前的版本有些不一样，所以才有必要记录下，另外仍然没有使用scala,使用java8,spark 2.0.0,kafka 0.10。 2.引入maven包 网上找了一些结合的…

一、开发环境中需要安装和配置如下安装JDK，配置JDK环境变量(jdk1.8)安装Scala，配置JDK环境变量(scala2.11.8)最好安装一个Maven,虽然Idea已经集成自带的有Maven测试环境中已经安装有Zookeeper集群，Kafka需要用到（3.4.5）测试环境中已经安装有Kafka集群（1.1.0）测试环境中已经安…

前言本次记录全部来自工作学习中，总结和测试。并非生产环境，仅供参考使用！ 提示：以下是本篇文章正文内容，下面案例可供参考 一、Java中工具类常用于测试使用~ 1. 添加maven依赖<dependency> <groupId>org.apache.kafka</groupId> <artifac…

一、Kafka简介 ​ Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的 分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索 和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过…