返回主题:Spark内核执行机制

知识卡片

普通读书笔记卡 · 2574.d

依赖先分发

理解等级:未标注

计算开始前,代码和依赖必须先到达计算节点。SparkContext初始化时登记用户指定的Jar包和其他文件(部署到YARN时还会并入YARN专用配置指定的Jar),逐个加入Driver的文件服务,Executor执行任务前再从那里下载。依赖分发是分布式执行的前置条件,漏配一个Jar,报错往往要到任务在远端运行时才出现。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第4章《SparkContext的初始化》(源文件:_epub-src/EPUB/text00069.html) - 结论依据:原文说明SparkContext初始化时读取spark.jars(YARN下并入spark.yarn.dist.jars)指定的Jar和spark.files指定的文件,并逐个调用addJar、addFile;第2章说明Spark把资源文件缓冲到Driver本地文件服务,Executor从Driver下载。 - 原始内容:上述代码还遍历每一个Jar文件并调用addJar方法,遍历每一个其他文件并调用addFile方法。