知识卡片
数据采集按连接特征选型
数据采集方案应从输入特征倒推:先确定目标吞吐量、逐条或批量发送、长短连接以及最大并发连接数,再选择接收模型与数据格式。非阻塞 I/O 常适合高并发连接,但具体方案仍取决于这些负载条件;接收后还应做必要的字段提取与转换,形成下游能稳定消费的统一结构。发散:把连接模式和峰值并发写进设计输入,能避免只凭框架流行度选 Netty。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《实时流计算系统设计与实现》第1章1.4.1《数据采集》(源文件:_epub-src/OEBPS/Text/chapter6.xhtml)
- 结论依据:原文列出吞吐、发送批次、连接时长和并发连接数作为采集方案输入,随后给出非阻塞 I/O 和统一数据格式的常见选择,故选型需先看负载特征。
- 原始内容:为了使数据接收的性能最优,在设计数据采集方案时,必须充分考虑所接收数据的特点。例如: ·数据接收的性能要求如何? ·数据是逐条发送还是批次发送? ·客户端到服务器的连接是长连接还是短连接? ·最大并发连接数是多少?