Kafka有几种消费者分区分配策略?

Range范围分配策略

Range范围分配策略是Kafka默认的分配策略,它可以确保每个消费者消费的分区数量是均衡的。

注意:Rangle范围分配策略是针对每个Topic的。

配置

配置消费者的partition.assignment.strategy为org.apache.kafka.clients.consumer.RangeAssignor。

算法公式

n = 分区数量 / 消费者数量

m = 分区数量 % 消费者数量

前m个消费者消费n+1个

剩余消费者消费n个

Kafka有几种消费者分区分配策略?

Kafka有几种消费者分区分配策略?

RoundRobin轮询策略

RoundRobinAssignor轮询策略是将消费组内所有消费者以及消费者所订阅的所有topic的partition按照字典序排序(topic和分区的hashcode进行排序),然后通过轮询方式逐个将分区以此分配给每个消费者。

配置

配置消费者的partition.assignment.strategy为org.apache.kafka.clients.consumer.RoundRobinAssignor。

Kafka有几种消费者分区分配策略?

Stricky粘性分配策略

从Kafka 0.11.x开始,引入此类分配策略。主要目的:

1. 分区分配尽可能均匀

2. 在发生rebalance的时候,分区的分配尽可能与上一次分配保持相同没有发生rebalance时,Striky粘性分配策略和RoundRobin分配策略类似。

Kafka有几种消费者分区分配策略?

上面如果consumer2崩溃了,此时需要进行rebalance。如果是Range分配和轮询分配都会重新进行分配,例如:

Kafka有几种消费者分区分配策略?

通过上图,我们发现,consumer0和consumer1原来消费的分区大多发生了改变。接下来我们再来看下粘性分配策略。

Kafka有几种消费者分区分配策略?

我们发现,Striky粘性分配策略,保留rebalance之前的分配结果。这样,只是将原先consumer2负责的两个分区再均匀分配给consumer0、consumer1。这样可以明显减少系统资源的浪费,例如:之前consumer0、consumer1之前正在消费某几个分区,但由于rebalance发生,导致consumer0、consumer1需要重新消费之前正在处理的分区,导致不必要的系统开销。(例如:某个事务正在进行就必须要取消了)

本文来自投稿,不代表重蔚自留地立场,如若转载,请注明出处https://www.cwhello.com/272308.html

如有侵犯您的合法权益请发邮件951076433@qq.com联系删除

(0)
黑马程序员黑马程序员订阅用户
上一篇 2023年6月9日 06:49
下一篇 2023年6月9日 07:26

相关推荐

  • 教你网络营销发展中存在的问题。

    网络营销发展中存在的问题。 网络营销模式的发展如此迅速,但在其发展过程中也出现了一些问题,导致许多企业的网络营销活动发展得并不是很顺利。这些问题大概包括以下几个方面: (一)消费者对新购物形式缺乏信任。…

    2022年10月31日
    030
  • 我来分享网络营销的发展对策(网络营销的发展现状及趋势)

    网络营销的发展对策。在网络购物深受人们热爱的今天,如何解决以上问题便成了企业成功立足于网络营销活动中的关键。那么,我们又该如何去解决这一系列的问题呢? (一)加大网络营销宣传力度。网络营销模式的出现对于…

    2022年10月31日
    019
  • 教你云服务器数据盘要不要分区。

    云服务器数据盘是否需要分区取决于使用场景。如果需要多个文件系统或对数据管理有特殊要求,建议分区。如果需求简单,可不分区以简化管理。 云服务器数据盘是否需要分区? 在讨论云服务器数据盘是否需要分区时,我…

    2024年6月25日
    00
  • 我来教你如何从消费者的角度做全网营销。

    全网营销已经被世界上的任何一个行业、任何一家公司企业都充分地重视起来,但是如何成功地举行一次全网营销却仍然是为难着不少企业的难题,在全网营销策略的制订方面,我们需要从消费者的角度出发,云裂变小编建议…

    2023年4月19日
    03
  • 教你网络营销 如何做​更有成效。

    网络营销如何做更有成效?网络营销是企业整体营销战略的一个组成部分,是为实现企业总体经营目标所进行的,以互联网为基本手段营造网上经营环境的各种活动。总体来讲,凡是以互联网或移动互联为主要平台开展的各种营…

    2022年10月31日
    026
  • 小编分享网络营销对行为影响因素分析。

    网络营销对行为影响因素分析 1、消费者选择范围扩大。 传统的营销模式,是在有限的范围内选择有限的商品。而网络营销模式是在非常广阔的空间内选择商品。最重要的是,网上购物可以根据消费者喜爱的重点来搜索商品,…

    2022年10月31日
    022
  • 分享2018年天猫年货节活动消费者规则。

    2018年天猫年货节活动消费者规则如下: * 活动时间。活动于2018年1月21日00:00:00开始,至2018年1月28日23:59:59结束。 * 活动商品。活动商品包邮,单笔订单满88元包邮,特殊商品除外。 * 活动优惠。活动期间,消费…

    2023年11月1日
    00
  • 教你品牌定价 · 价定生死。

    网络营销是互联网+时代的销售方式,为企业带来了大量的商机,它是一种使用互联网技术和平台来促进产品、服务或品牌的销售与交易。涉及到利用互联网渠道来进行市场营销、销售和服务的过程,包括电子邮件营销、搜索引…

    2023年3月15日
    010

联系我们

QQ:951076433

在线咨询:点击这里给我发消息邮件:951076433@qq.com工作时间:周一至周五,9:30-18:30,节假日休息