知识卡片

普通读书笔记卡 · 3085.f

数据采集按连接特征选型

理解等级:中级

数据采集方案应从输入特征倒推:先确定目标吞吐量、逐条或批量发送、长短连接以及最大并发连接数,再选择接收模型与数据格式。非阻塞 I/O 常适合高并发连接,但具体方案仍取决于这些负载条件;接收后还应做必要的字段提取与转换,形成下游能稳定消费的统一结构。发散:把连接模式和峰值并发写进设计输入,能避免只凭框架流行度选 Netty。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《实时流计算系统设计与实现》第1章1.4.1《数据采集》(源文件:_epub-src/OEBPS/Text/chapter6.xhtml) - 结论依据:原文列出吞吐、发送批次、连接时长和并发连接数作为采集方案输入,随后给出非阻塞 I/O 和统一数据格式的常见选择,故选型需先看负载特征。 - 原始内容:为了使数据接收的性能最优,在设计数据采集方案时,必须充分考虑所接收数据的特点。例如: ·数据接收的性能要求如何? ·数据是逐条发送还是批次发送? ·客户端到服务器的连接是长连接还是短连接? ·最大并发连接数是多少?