知识卡片

普通读书笔记卡 · 2275.as.6.j.8

计算靠近数据减少搬运

理解等级:中级

把大文件分布存放,并尽量在数据所在或接近的位置执行任务,可以减少把全部原始数据搬到集中计算节点的网络成本。跨分区关联和聚合仍可能发生交换,因此局部性是优化方向,不是分布式计算完全不用网络的承诺。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 大数据技术中台 11.1 大数据技术 · 查看原书依据

      分布式大数据技术之所以具有超强的海量数据的处理能力,关键在于其核心设计理念是移动计算而不是移动数据。传统数据库的设计就是“移动数据”,即数据都存储在存储设备中,需要将海量的数据通过网络传输给计算节点,才能对数据进行处理。数据处理完成以后,还要通过网络将结果数据存储到存储设备中,因此大量的时间都花费在了网络传输上。而分布式大数据采用的是“移动计算”。它将海量数据分散存储在各个数据节点中,要处理的数据在哪里,对数据的运算就在哪里执行。这样,

    参考来源

    - 位置:《架构真意企业级应用架构设计方法论与实践》第11章《大数据技术中台》“11.1 大数据技术”(来源项目a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/架构真意企业级应用架构设计方法论与实践/_epub-src/EPUB/xhtml/chapter142.xhtml)。 - 结论依据:原文的具体说明支撑这一概括:把大文件分布存放,并尽量在数据所在或接近的位置执行任务,可以减少把全部原始数据搬到集中计算节点的网络成本。其余范围限定用于避免超出书内证据。 - 原始内容:分布式大数据技术之所以具有超强的海量数据的处理能力,关键在于其核心设计理念是移动计算而不是移动数据。传统数据库的设计就是“移动数据”,即数据都存储在存储设备中,需要将海量的数据通过网络传输给计算节点,才能对数据进行处理。数据处理完成以后,还要通过网络将结果数据存储到存储设备中,因此大量的时间都花费在了网络传输上。而分布式大数据采用的是“移动计算”。它将海量数据分散存储在各个数据节点中,要处理的数据在哪里,对数据的运算就在哪里执行。这样,