知识卡片

普通读书笔记卡

位置与订阅策略分工不同

理解等级:中级

在本书 Spark 2.3.1 的 createDirectStream 接口中,位置策略决定 Kafka 分区交给哪些 Spark 执行器:可按 broker 同机放置、均匀分配,或指定分区到主机的映射。消费策略决定读取哪些分区:按主题集合、主题名模式,或明确分区列表订阅。前者解决计算放在哪里,后者解决读什么;把两类配置混为一谈,会误判扩容或订阅范围的效果。具体类名与行为须按所用 Spark 版本复核。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第12章 12.5 节(源文件:`_epub-src/OEBPS/Text/chapter13.xhtml`)。 - 结论依据:原文把第二个参数定义为执行器上的分区放置策略,把第三个参数定义为消费订阅策略,并分别列出三种选择。 - 原始内容:KafkaUtils.createDirectStream()方法中的第三个参数是ConsumerStrategies类型的,用来指定Spark执行器节点的消费策略。与KafkaConsumer订阅主题的方式对应,这里也有3种策略:Subscribe、SubscribePattern和Assign,分别代表通过指定集合、通过正则表达式和通过指定分区的方式进行订阅。