← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2275.as.6.n

数据文件接收与解析解耦

理解等级:中级

数据包到达业务中心时,可以先可靠接收并送入消息链路,再由后端解析、解压和结构化处理,避免每个请求都同步承担完整解析成本。该方案把接收吞吐和分析工作分开,不能据此忽略传输、处理失败与重放的一致性。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 大数据时代变革 10.3.2 数据中台建设的核心 · 查看原书依据

      非结构化采集的另外一种方式就是数据文件采集。如图10-7所示,在该案例中,用户在通话过程中,基站就会将用户的通话时长等信息打包加密发送给服务端。服务端不会解析这个打包文件,而是直接将其发送给Kafka。接着,Spark Streaming在Kafka的另一端解密、解压该数据文件,并将解析好的数据结构化存储在大数据平台上。后续,大数据平台就可以对结构化的数据进行统计分析,展现各地基站的流量大小,甚至对一些突发情况进行智能告警。

    参考来源

    - 位置:《架构真意企业级应用架构设计方法论与实践》第10章《大数据时代变革》“10.3.2 数据中台建设的核心”(来源项目a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/架构真意企业级应用架构设计方法论与实践/_epub-src/EPUB/xhtml/chapter138.xhtml)。 - 结论依据:原文的具体说明支撑这一概括:数据包到达业务中心时,可以先可靠接收并送入消息链路,再由后端解析、解压和结构化处理,避免每个请求都同步承担完整解析成本。其余范围限定用于避免超出书内证据。 - 原始内容:非结构化采集的另外一种方式就是数据文件采集。如图10-7所示,在该案例中,用户在通话过程中,基站就会将用户的通话时长等信息打包加密发送给服务端。服务端不会解析这个打包文件,而是直接将其发送给Kafka。接着,Spark Streaming在Kafka的另一端解密、解压该数据文件,并将解析好的数据结构化存储在大数据平台上。后续,大数据平台就可以对结构化的数据进行统计分析,展现各地基站的流量大小,甚至对一些突发情况进行智能告警。