知识卡片

普通读书笔记卡 · 2852.f.1.d

只读依赖随任务本地缓存

理解等级:中级

分布式任务若都要读取相同的字典、配置或第三方包,可在作业启动时声明只读依赖,由框架分发到任务节点并本地缓存。任务随后从本地加载,避免每个任务重复跨网络取文件。普通文件、加入类路径的包、解压归档对应不同装载方式;书中的具体 API 和命令属于旧版实现,使用前须按目标版本核实。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第10章《批处理引擎MapReduce》10.3.2 DistributedCache(源文件:`_epub-src/OEBPS/text00081.html`) - 结论依据:原文说明 DistributedCache 把只读文件分发到节点缓存,并区分普通文件、jar 包和归档文件的后续处理;本卡保留分发机制而不沿用旧版命令。 - 原始内容:DistributedCache是Hadoop为方便用户进行应用程序开发而设计的数据分发工具,它能够将只读的文件自动分发到各个节点上进行本地缓存,以便Task运行时加载使用。