知识卡片
只读依赖随任务本地缓存
分布式任务若都要读取相同的字典、配置或第三方包,可在作业启动时声明只读依赖,由框架分发到任务节点并本地缓存。任务随后从本地加载,避免每个任务重复跨网络取文件。普通文件、加入类路径的包、解压归档对应不同装载方式;书中的具体 API 和命令属于旧版实现,使用前须按目标版本核实。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第10章《批处理引擎MapReduce》10.3.2 DistributedCache(源文件:`_epub-src/OEBPS/text00081.html`)
- 结论依据:原文说明 DistributedCache 把只读文件分发到节点缓存,并区分普通文件、jar 包和归档文件的后续处理;本卡保留分发机制而不沿用旧版命令。
- 原始内容:DistributedCache是Hadoop为方便用户进行应用程序开发而设计的数据分发工具,它能够将只读的文件自动分发到各个节点上进行本地缓存,以便Task运行时加载使用。