kafka 常用知识点

article/2025/8/27 15:43:20

文章目录

  • 前言
    • kafka 常用知识点
      • 1. kafka 概念
      • 2. 消息共享和广播
      • 3. 分区和副本数量奇偶数

前言

  如果您觉得有用的话,记得给博主点个赞,评论,收藏一键三连啊,写作不易啊^ _ ^。
  而且听说点赞的人每天的运气都不会太差,实在白嫖的话,那欢迎常来啊!!!


kafka 常用知识点

在这里插入图片描述

1. kafka 概念

Kafka 是一个 分布式、高吞吐、可持久化的消息队列系统.。

  • 生产者(Producer):写信的人,负责“投递消息”。
  • 消费者(Consumer):收信的人,负责“接收消息”。
  • 主题(Topic):信箱,按主题投放和接收信。
  • Broker(代理):Kafka 服务器,就是邮局,负责存储和投递。
  • 分区(Partition):每个信箱的子格子,信按顺序放入格子中。
  • 消费组(Consumer Group):一群消费者在“轮流收信”。

2. 消息共享和广播

Kafka 的消息共享(负载)和广播(全量)消费行为,是通过自定义的消费组 group.id来决定的。
示例:
不同的 group.id(广播模式):

@KafkaListener(topics = "log-topic", groupId = "group-A") // A
@KafkaListener(topics = "log-topic", groupId = "group-B") // B

相同的 group.id(集群分摊模式)

@KafkaListener(topics = "log-topic", groupId = "group-A") // A1
@KafkaListener(topics = "log-topic", groupId = "group-A") // A2

在这里插入图片描述

3. 分区和副本数量奇偶数

属性是否建议奇数说明
分区数❌ 无要求根据并发需求、消费者数量设定即可
副本数✅ 建议奇数多数副本机制保证高可用(如 3 副本)

4、Kafka 主题管理相关命令示例(基于 kafka-topics.sh)

创建主题,3个分区,副本数2


kafka-topics.sh --create --topic my_topic --partitions 3 --replication-factor 2 --bootstrap-server localhost:9092

查看所有主题

kafka-topics.sh --list --bootstrap-server localhost:9092

查看某个主题详细信息

kafka-topics.sh --describe --topic my_topic --bootstrap-server localhost:9092

删除主题(需要broker配置允许删除)

kafka-topics.sh --delete --topic my_topic --bootstrap-server localhost:9092

http://www.hkcw.cn/article/pAsmAHuTTU.shtml

相关文章

什么是接口测试,我们如何实现接口测试?

1. 什么是接口测试 顾名思义,接口测试是对系统或组件之间的接口进行测试,主要是校验数据的交换,传递和控制管理过程,以及相互逻辑依赖关系。其中接口协议分为HTTP,WebService,Dubbo,Thrift,Socket等类型,测试类型又主要…

我这三年……测试开发工作的一点感悟

从职场小白到测试开发,已经三年有余。回首这段职业旅程,踩过坑,吃过饼,背过锅,也拿过奖。和产品互掐,和开发干仗……也许这就是成长的代价和难忘的经历吧。今天忍不住跟宝子们分享分享我的这段心路历程 初…

[HIT计算机系统大作业] 程序人生-Hello‘s P2P

2025年5月 摘 要 本文以Hello程序为研究载体,系统探究其从源代码到可执行文件再到进程生命周期的完整流程,深度解析计算机系统多层面协同机制。首先阐述预处理、编译、汇编及动态链接的核心步骤:通过gcc工具链生成hello.i(预处…

HIT-ICS 2025春计算机系统大作业 程序人生-Hello’s P2P

摘 要 本报告通过分析hello程序从hello.c源代码到进程终止的完整生命周期,系统阐述了计算机系统的多层次协作机制。首先,通过预处理、编译、汇编与链接阶段,将C语言源代码转换为可执行文件;其次,结合进程管理、存储管理及输入输出管理,深入探讨了进程创建、地址空间转换…

Hello的程序人生

计算机系统 大作业 题 目 程序人生-Hello’s P2P 专 业 未来技术模块 学   号 2023111680 班   级 23WLR14 学 生 姜虹伯 指 导 教 师 吴锐   计算机…

程序人生hello.c

计算机科学与技术学院 2024年5月 摘 要 本文系统分析了HELLO程序从源代码到执行的完整生命周期,揭示了编译系统与操作系统协同工作的底层机制。研究以Ubuntu环境和GCC工具链为基础,覆盖预处理、编译、汇编、链接四大阶段:预处理阶段展开宏…

哈尔滨工业大学HIT-ICS2024大作业-程序人生-Hello‘s P2P

第1章 概述 1.1 Hello简介 ①P2P:这一过程是指 Hello如何从C源文件经过预处理转变为可执行文件,这一过程共需经历四个阶段: 1)预处理器处理,生成文本文件hello.i 2)编译器处理,生成汇编程序…

开源项目的认识理解

目录 开源项目有哪些机遇与挑战? 1.开源项目的发展趋势 2.开源的经验分享(向大佬请教与上网查询) 3.开源项目的挑战 开源项目有哪些机遇与挑战? 1.开源项目的发展趋势 1. 持续增长与普及 - 开源项目将继续增长&#xff0c…

HIT-CSAPP大作业-程序人生

摘 要 本文概述了hello.c源文件从预处理、编译、汇编、链接到最终执行的关键步骤,阐述了程序在操作系统中的加载与运行过程。同时,通过对hello程序在进程管理、存储结构和输入输出控制方面的介绍,帮助读者对程序的整个生命周期有了基础认识…

普通人的四年程序人生

还记得当初自己为什么选择计算机? 当初你问我为什么选择计算机,我笑着回答:“因为我梦想成为神奇的码农!我想像编织魔法一样编写程序,创造出炫酷的虚拟世界!”谁知道,我刚入门的那天&#xff0…

【老张的程序人生】一天时间,我成软考高级系统分析师

今年下半年,我心血来潮报考了软考高级系统分析师。彼时的我,工作繁忙至极,一周十四节课,班主任的职责压身,还兼任教学管理事务,每日忙得晕头转向,那点可怜的闲暇时光,也都奉献给了游…

HIT-2024CSAPP 程序人生-Hello‘s P2P大作业

摘要 本文借助hello.c程序,结合本学期计算机系统课程所学习的大部分内容,分析了hello.c这个程序的一生,探讨了从源程序到可执行程序转变的全过程,包含预处理,编译,链接,生成等步骤,在…

第七届下一代数据驱动网络国际学术会议(NGDN 2025)

在线投稿: 学术会议-学术交流征稿-学术会议在线-艾思科蓝 张彦,挪威奥斯陆大学信息工程学院教授,IEEE Fellow,IET Fellow。入选欧洲科学院院士,挪威皇家科学院院士,挪威工程院院士,2018-2022连续五年全球“高被引科学家”近期主要研究方向为新一代无线通信网络和智…

Selenium 测试框架 - Kotlin

🚀Selenium Kotlin 实践指南:以百度搜索为例的完整测试示例 随着测试自动化的普及,Selenium 已成为 Web 自动化测试的事实标准,而 Kotlin 凭借其简洁语法和高安全性,越来越受到开发者欢迎。本指南将通过一个完整的实战案例——在百度中执行搜索操作,来展示如何使用 Sele…

记录一次wkhtmltopdf生成pdf造成oom问题

问题现象 有个生成pdf的接口,到处pdf为空;docker环境必现,但是本地环境无法复现 1、代码增加各处错误判断,发现docker环境调用接口出现 Loading pages (1/6) [> …

YOLOX 的动态标签分类(如 SimOTA)与 Anchor-free 机制解析2025.5.29

YOLOX 的动态标签分类(如 SimOTA)与 Anchor-free 机制是其核心改进中的两个关键部分,它们在目标检测中的作用和实现方式存在显著差异。以下从原理、实现细节及效果三个方面进行详细对比: 一、核心原理与目标 1. Anchor-free 机制…

netTAP 100:在机器人技术中将 POWERLINK 转换为 EtherNet/IP

工业机器人服务专家 年轻的 More Robots 公司成立仅一年多,但其在许多应用领域的专业技术已受到广泛欢迎。这是因为More Robots提供 360 度全方位服务,包括从高品质工业机器人和协作机器人到咨询和培训。这包括推荐适合特定任务或应用的机器人&#xff0…

Allegro 16.6 aidt(自动等长)巧用

在我刚刚进入这个圈子的时候,身边的人都在用allegro16.3,但近一年隐约觉得用16.6的人多了起来,但对于16.6的理解是少有人去探究的,这也急不来,让我们慢慢道来 今天带给大家的是aidt的使用,不仅仅是功能的使用,相信你读了会有所启发。 使用方法 首先连好需要做等长的线,…

SSH免密登录其它用户脚本

这个是同一个网段下免密互联的脚本仅供大家参考 首先我们先需要安装一个sshpass文件 我的是rocky系统 yum install sshpass -y 否则会有报错 这个版本只能是第一台主机(即执行此脚本命令的主机)登录到其他主机免密,反之不免密。 #!/bin/ba…

DeepSeek R1开源模型的技术突破与AI产业格局的重构

引言​ 2025年,中国AI企业深度求索(DeepSeek)推出的开源模型DeepSeek-R1,以低成本、高性能和开放生态为核心特征,成为全球人工智能领域的技术焦点。这一模型不仅通过算法创新显著降低算力依赖,更通过开源策…