知识卡片
计算靠近数据减少搬运
把大文件分布存放,并尽量在数据所在或接近的位置执行任务,可以减少把全部原始数据搬到集中计算节点的网络成本。跨分区关联和聚合仍可能发生交换,因此局部性是优化方向,不是分布式计算完全不用网络的承诺。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 大数据技术中台 11.1 大数据技术 · 查看原书依据
分布式大数据技术之所以具有超强的海量数据的处理能力,关键在于其核心设计理念是移动计算而不是移动数据。传统数据库的设计就是“移动数据”,即数据都存储在存储设备中,需要将海量的数据通过网络传输给计算节点,才能对数据进行处理。数据处理完成以后,还要通过网络将结果数据存储到存储设备中,因此大量的时间都花费在了网络传输上。而分布式大数据采用的是“移动计算”。它将海量数据分散存储在各个数据节点中,要处理的数据在哪里,对数据的运算就在哪里执行。这样,
参考来源
- 位置:《架构真意企业级应用架构设计方法论与实践》第11章《大数据技术中台》“11.1 大数据技术”(来源项目a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/架构真意企业级应用架构设计方法论与实践/_epub-src/EPUB/xhtml/chapter142.xhtml)。
- 结论依据:原文的具体说明支撑这一概括:把大文件分布存放,并尽量在数据所在或接近的位置执行任务,可以减少把全部原始数据搬到集中计算节点的网络成本。其余范围限定用于避免超出书内证据。
- 原始内容:分布式大数据技术之所以具有超强的海量数据的处理能力,关键在于其核心设计理念是移动计算而不是移动数据。传统数据库的设计就是“移动数据”,即数据都存储在存储设备中,需要将海量的数据通过网络传输给计算节点,才能对数据进行处理。数据处理完成以后,还要通过网络将结果数据存储到存储设备中,因此大量的时间都花费在了网络传输上。而分布式大数据采用的是“移动计算”。它将海量数据分散存储在各个数据节点中,要处理的数据在哪里,对数据的运算就在哪里执行。这样,