知识卡片

普通读书笔记卡 · 1782.b.3

结果指纹不替代复用条件

理解等级:中级

DryadInc用缓存服务器保存计算结果并以指纹定位,Rerun Logic识别可复用子图后改写DAG。安全复用还要求对应输入、程序和配置语义未变;指纹相等只是依据之一,不能用缓存存在代替依赖校验。原文80%~90%是特定工作负载结果,不作为任何DAG任务的固定提速承诺。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 增量计算 · 查看原书依据

      “缓存服务器”是一个通用的Key-Value存储系统,支持数据读写操作接口。在实际使用时,往往根据计算结果生成数据指纹(Fingerprint)来作为Key,计算结果数据本身作为Value对数据进行读写。

    参考来源

    - 位置:《大数据日知录:架构与算法》第17章《增量计算》,原文段落63,OEBPS/text00022.html。 - 结论依据:原书给出的机制、公式或算法与其适用范围;实验百分比和2014年系统状态不当作当前普遍保证。 - 原始内容:“缓存服务器”是一个通用的Key-Value存储系统,支持数据读写操作接口。在实际使用时,往往根据计算结果生成数据指纹(Fingerprint)来作为Key,计算结果数据本身作为Value对数据进行读写。