<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.12</artifactId> <version>0.11.0.0</version>&l…

2

Kafka->一个好用的IntelliJ IDEA插件: kafkalytic安装kafkalytic如何连接kafka集群kafkalytic简单的使用安装点击File -> Setting 1.点击Plugins2.在搜索框输入Kafka3.安装Kafkalytic(安装后需要重新启动Idea) 当右侧出现kafkalyt…

说明 Kafka 有的时候会跨机房接收消息，本地开发机也需要向远程服务器发一些消息，默认是不支持外连的，所以需要配置一下远程访问。 Kafka 服务器 host 修改 查看 hostname，查看内网 IP 并记录 1 2 3 4 cat /etc/hostname # vm172-31-110-6.ksc.com #   if…

#1.1 kafka启动命令nohup bin/kafka-server-start.sh config/server.properties &#1.2 kafka停止命令bin/kafka-server-stop.sh #1.3. kafka重启systemctl restart kafka   #2.1 kafka-…

1、环境准备jdk8 kafka_2.12-2.1.1（已包含了zookeeper，无需自行下载zk也无需安装）2、下载kafka，本文采用的是：Scala 2.12  - kafka_2.12-2.1.1.tgz (asc, sha512)，使用7zip或winrar解压即可。解压后目录如下：&n…

解决方式：手动删除\kafka-logs里的日志文件重启kafka 2、出现两个Consumer同时消费同一个topic下面的同一个group，只有一个能够读取到数据： 原因： 相同的group下面的消费者访问的东西不会重复，而且如果一个partition对应一个consumer，如果consumer的数量大于Topic中partitio…

本文是SpringBoot+Kafka的实战讲解，如果对kafka的架构原理还不了解的读者，建议先看一下《大白话kafka架构原理》、《秒懂kafka HA（高可用）》两篇文章。 一、生产者实践 普通生产者 带回调的生产者 自定义分区器 kafka事务提交 二、消费者实践 简单消费 指定topic、partition、offset消费 批…

1 #################consumer的配置参数（开始）################# 2 #如果'enable.auto.commit'为true，则消费者偏移自动提交给Kafka的频率（以毫秒为单位），默认值为5000。 3 spring.kafka.consumer.auto-commit-interval; 4…

我们大家都知道，kafka消费者在会保存其消费的进度，也就是offset，存储的位置根据选用的kafka api不同而不同。 首先来说说消费者如果是根据javaapi来消费，也就是【kafka.javaapi.consumer.ConsumerConnector】，我们会配置参数【zookeeper.connect】来消费。这种情况下，消…