返回主题:Lambda架构与数据系统分层

知识卡片

普通读书笔记卡 · 4156

Lambda架构的两个理论假设

理解等级:高级

原书把查询抽象为作用于数据集的函数,并用不可变数据与可合并中间量解释Lambda的理想化模型。Monoid有利于并行合并,不是所有查询都天然满足的性质。

第一项是不可变性:原始事件一旦记录就不原地改写,订正以追加新事件表达。这是Lambda对数据模型的约定,不是“大数据里所有实际数据天然不可变”。它使完整原始数据可被重放,但只有算法、输入版本和确定性也正确时,重算才能得到正确结果。

第二项是将可并行合并的中间量建模为 Monoid。一个 Monoid 需要封闭的二元运算、结合律和单位元;原文只强调了其中对分布式合并尤其重要的结合律。例如用 (sum, count) 表示一批数的中间结果,它在分量加法下封闭,单位元是 (0, 0),且满足结合律。任意分区可先计算自己的总和与计数,合并后再用 sum/count 求总体平均值。不能直接对各批平均值再取平均,因为各批样本数可能不同,合并时必须保留权重。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《高可用架构(第1卷)》第3章《电商架构热点专题》"3.4 Lambda架构与推荐在电商网站实践"节,"3.4.1 Lambda架构"(源文件:_epub-src/OEBPS/Text/Chapter3_4_2.xhtml) - 结论依据:原文将不可变性和 Monoid 作为 Lambda 的两个假设,只说结合律是 Monoid 的“一个重要特性”,并用平均值拆成总和与计数说明可合并中间量。卡片补入 Monoid 的完整定义和教学例,未冒充原书原话。 - 原始内容:不可变假设:Lambda架构要求data不可变,这个假设在大数据系统是普遍成立的……Monoid假设……满足结合律。如整数的加法就满足Monoid特性……不满足Monoid特性的函数很多时候可以转化成多个满足Monoid特性的函数的运算。如多个数的平均值数……可以拆成分母除以分子。