返回主题:Spark内核执行机制

知识卡片

普通读书笔记卡 · 2580.c.1

视图与持久表的生命周期

理解等级:中级

将 DataFrame 暴露为 SQL 表名时,需先决定结果要活多久、由谁访问。会话临时视图在会话结束后清理;全局临时视图可供同一应用内多个会话访问,随应用结束清理;若要跨应用长期保留,则需写入持久表。名称相同不代表存储承诺相同,分析中间结果与正式数据资产应采用不同生命周期。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第11章《DAG计算引擎Spark》11.6.2 DataFrame/Dataset 程序设计(源文件:`_epub-src/OEBPS/text00092.html`) - 结论依据:原文分别给出会话临时视图、全局视图和 saveAsTable 管理表的清理与持久化边界;本卡以生命周期和共享范围概括三者。 - 原始内容:createOrReplaceGlobalView:将DataFrame注册成一张全局表,可以在一个应用程序周期内被多个会话访问,直到应用程序运行结束后则自动清理。