知识卡片

延伸参考卡 · 1769.u.1

Kafka用分区日志承载消息

理解等级:中级

Kafka在生产者、Broker和消费者之间提供分区化的持久日志,使同一数据可被按位置读取,用于日志、行为数据或其他消息通道。主题是逻辑分类,分区是分布与复制的重要单位。这里介绍2014年书中Kafka的设计动机与日志主线,不把当时ZooKeeper架构或旧消费者接口当作当前安装说明。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 2 处

    • 分布式通信 · 查看原书依据

      Kafka最初被设计作为Log收集工具,因其具有上述特性,所以目前其应用场景较多,比如可以用来作为通用的消息系统、即时Log收集、用户行为实时收集以及机器状态监控等。除此之外,Kafka还可以作为流式计算系统的底层构件,比如Linkedin的流式计算系统Samza就是构建在Kafka和YARN之上的。

    • 延伸阅读 · 查看原书依据

      点评:Kafka是Linkedin开源的pub-sub模式消息系统,尽管设计初衷是Log收集,由于其出色的消息吞吐能力、低延时、高可扩展性、高可用性等诸多能力,目前其使用范围已经大为扩展,甚至可以作为流式计算系统Samza的底层架构。Kafka整体架构设计简洁优雅,也有很多创新点,利用ZooKeeper结合文件系统来设计高吞吐、低延迟、高扩展、高可用的消息系统也是独具特色的。除此之外,Kafka的设计文档对于如何高效地使用磁盘读写以及对操作系统缓存的高效利用的讨论也使人获益匪浅。总之,Kafka是掌握大数据系统设计过程中,对很多普适规律如何灵活运用的经典范型之一。

    参考来源

    - 位置:《大数据日知录:架构与算法》6(源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00011.html) - 结论依据:本章实际原文及必要原图;产品与性能描述保留2014年版本范围。校正的官方入口及实际阅读范围见50-root-official.json。 - 原始内容:Kafka最初被设计作为Log收集工具,因其具有上述特性,所以目前其应用场景较多,比如可以用来作为通用的消息系统、即时Log收集、用户行为实时收集以及机器状态监控等。除此之外,Kafka还可以作为流式计算系统的底层构件,比如Linkedin的流式计算系统Samza就是构建在Kafka和YARN之上的。