知识卡片
图数据强耦合
内容
图数据的难点在边:节点之间强关联,随机切分会造成大量跨机器通信。图系统既要负载均衡,又要减少边割带来的消息传输,分片质量会被迭代算法持续放大。
参考来源
- 位置:《大数据日知录:架构与算法》第14章《图数据库:架构与算法》引言部分(源文件:_epub-src/OEBPS/text00019.html)
- 结论依据:原文明确"图数据的数据局部性很差,相互之间有很密切的关联,具体体现就是图节点所展现出的边,其表征着数据之间的关联……很多自然图的结构遵循Power Law规则,满足Power Law规则的图数据分布极度不均匀……这给分布式存储和计算带来很大的困难,因为数据局部性差意味着数据分布到集群中的机器时存在潜在的数据分布不均匀或者计算中需要极高的网络通信量等问题"。
- 原始内容:图数据的数据局部性很差,相互之间有很密切的关联,具体体现就是图节点所展现出的边,其表征着数据之间的关联……这给分布式存储和计算带来很大的困难,因为数据局部性差意味着数据分布到集群中的机器时存在潜在的数据分布不均匀或者计算中需要极高的网络通信量等问题。