知识卡片

普通读书笔记卡 · 2538.e

日志先聚合再投递

理解等级:未标注

函数流量巨大,日志全量收集会吃掉大量存储和带宽,所以平台默认对服务日志限流。另一个瓶颈是连接数:每个实例都直连Kafka,Broker扛不住。做法是每台机器部署HostAgent,实例把日志先发给它,聚合后再投递消息队列,连接数降低两个量级。系统组件日志量小,则由SDK直接发送。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Serverless核心技术和大规模实践》第3章《FaaS控制面》(源文件:_epub-src/text/part0009_split_004.html) - 结论依据:原文说明全量收集日志耗费巨大存储与带宽,平台默认限流;每个实例直连Kafka连接数过多,于是由每台机器的HostAgent聚合日志后再发MQ,连接减少两个量级。 - 原始内容:因此FaaS平台默认对服务日志进行限流,限流配置作为服务的一个默认配置,会下发到实例内部……由HostAgent组件进行聚合后再发送到MQ,这样与MQ的连接减少了两个量级,使Kafka Broker的压力大大减小。