知识卡片
日志先聚合再投递
函数流量巨大,日志全量收集会吃掉大量存储和带宽,所以平台默认对服务日志限流。另一个瓶颈是连接数:每个实例都直连Kafka,Broker扛不住。做法是每台机器部署HostAgent,实例把日志先发给它,聚合后再投递消息队列,连接数降低两个量级。系统组件日志量小,则由SDK直接发送。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Serverless核心技术和大规模实践》第3章《FaaS控制面》(源文件:_epub-src/text/part0009_split_004.html)
- 结论依据:原文说明全量收集日志耗费巨大存储与带宽,平台默认限流;每个实例直连Kafka连接数过多,于是由每台机器的HostAgent聚合日志后再发MQ,连接减少两个量级。
- 原始内容:因此FaaS平台默认对服务日志进行限流,限流配置作为服务的一个默认配置,会下发到实例内部……由HostAgent组件进行聚合后再发送到MQ,这样与MQ的连接减少了两个量级,使Kafka Broker的压力大大减小。