知识卡片
依赖先分发
计算开始前,代码和依赖必须先到达计算节点。SparkContext初始化时登记用户指定的Jar包和其他文件(部署到YARN时还会并入YARN专用配置指定的Jar),逐个加入Driver的文件服务,Executor执行任务前再从那里下载。依赖分发是分布式执行的前置条件,漏配一个Jar,报错往往要到任务在远端运行时才出现。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第4章《SparkContext的初始化》(源文件:_epub-src/EPUB/text00069.html)
- 结论依据:原文说明SparkContext初始化时读取spark.jars(YARN下并入spark.yarn.dist.jars)指定的Jar和spark.files指定的文件,并逐个调用addJar、addFile;第2章说明Spark把资源文件缓冲到Driver本地文件服务,Executor从Driver下载。
- 原始内容:上述代码还遍历每一个Jar文件并调用addJar方法,遍历每一个其他文件并调用addFile方法。