知识卡片

普通读书笔记卡 · 7176.g · 生成模型:Tencent Hunyuan Hy

Hive数据仓库读时校验

理解等级:中级

Hive是构建在Hadoop上的数据仓库工具,把HDFS里的结构化数据文件映射成一张表,提供SQL查询,并把SQL语句转换成MapReduce任务运行。熟悉SQL的人用HiveQL即可完成统计,学习成本低,支持多表连接与自定义函数。关键机制是读时校验:导入只复制或移动文件、不校验类型,查询时才校验,因此加载效率高,但脏数据要到查询阶段才暴露。为避免全表扫描,Hive引入分区,按常用字段把同值行归入一个分区,查询指定分区可跳过大量无关数据,对亿行大表效果显著。原文也点明边界:Hive不是为在线而生,实时性无法和传统关系库相比,很难提供实时查询服务。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大型分布式网站架构设计与实践》第5章《5.2 离线数据分析》(源文件:`extracted/大型分布式网站架构设计与实践/_epub-src/text/part0010_split_002.html`,来源项目 `a19c7933-4eda-4176-aebd-30fe7e1ad292`,文件 SHA-256 `d6c2a2e1d2c348204636896d9ca53c1399cd3aad90a4f4d3afe95569fd28d9bc`) - 结论依据:原文『Hive是基于Hadoop的一个数据仓库工具……还可以将SQL语句转换为MapReduce任务进行运行』界定其定位,同节『也就是所谓的schema on read』与末段『不是为在线而生』支撑读时校验与实时性边界。 - 原始内容:5.2.4 Hive使用 Hive是基于Hadoop的一个数据仓库工具,可以将HDFS存储的结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,还可以将SQL语句转换为MapReduce任务进行运行。