← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2280.r.13

流处理的四种用途

理解等级:未标注

流处理主要有四种用途。复合事件处理(CEP)在流中搜索特定事件模式,它倒转了数据库的关系:查询长期存储,数据流过查询。流分析关注大量事件的聚合,如速率、滚动平均,常按窗口计算,有时用 HyperLogLog 等概率算法节省内存。维护物化视图即用变更流更新缓存、索引等衍生数据,与窗口分析不同,往往需要从头开始的完整历史。流上搜索让查询常驻、文档流过,查询量大时还可以给查询本身建索引。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据密集型应用系统设计》第十一章《流处理》"复合事件处理""流分析""维护物化视图""在流上搜索"(源文件:_epub-src/ch11_split_004.html) - 结论依据:原文分别描述CEP的模式匹配与查询数据关系倒转、流分析的聚合统计与概率算法应用、维护物化视图与CDC的关联及其对完整历史窗口的需求、流上搜索的查询常驻与索引反转四种用途,直接支撑本卡片的分类总结。 - 原始内容:CEP允许你指定规则以在流中搜索某些事件模式……查询是长期存储的,来自输入流的事件不断流过它们……使用近似算法有时让人们觉得流处理系统总是有损的和不精确的,但这是错误看法……传统的搜索引擎首先索引文件,然后在索引上跑查询。相比之下,搜索一个数据流则反了过来