← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2280.h.1.a.16.d

应用、数据与ML融合

理解等级:中级

数据与应用的融合:如今应用与 MDS 分离,更糟的是数据产生时没有考虑后续分析,需要各种缝合让系统互通,这种拼凑零碎的设计既笨拙又丑陋。很快,应用栈将成为数据栈,反之亦然——应用集成由流式管道和 ML 驱动的实时自动化和决策。生命周期本身不一定改变,但各阶段之间的时间将大幅缩短。留意解决 OLTP 与 OLAP 融合问题的新数据库技术,特征存储在 ML 中可能起类似作用。

应用与 ML 的紧密反馈循环:目前软件工程师、数据科学家、ML 工程师相互独立工作。ML 适合数据生成速度和数量大到无法手动处理的场景,随着数据规模和速度增长,大多数应用都能集成 ML;数据反馈回路缩短后,实时数据栈中的应用应当是智能的、能实时适应数据变化,形成应用智能化与业务价值提升的良性循环。

电子表格:数据世界的“暗物质”:最广泛使用的数据平台是电子表格,用户约 7 亿~20 亿人,大量分析从不进入本书描述的复杂系统——许多组织用它做财务报表、供应链分析甚至 CRM。电子表格本质上是支持复杂分析的交互式数据应用:从只会打开文件看报表的人,到能写复杂程序化处理的高级用户都能用;而 BI 工具通常只允许在一定范围内切片切块,没有带来可比的交互性。作者预测将出现把电子表格的交互分析能力与云 OLAP 后端能力结合的新工具。

总结:工具简化和企业级数据工程已在进行中,实时数据栈则更具猜测性(也许趋势会停滞,多数公司继续专注批处理)。建议:作为社区一分子延续话题,找领域专家、广泛阅读、参加聚会、分享专业知识,密切关注供应商公告但对所有主张保持独立思考。不要忘了数据工程的关键目标——关注生命周期、内外部客户、业务和更大的目标。技术趋势不仅由造轮子的人决定,也由用好轮子的人决定。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第11章《第11章 数据工程的未来》11.6.3 数据与应用程序的融合;11.6.4 应用程序和机器学习之间的紧密反馈循环;11.6.5 是“暗物质”数据和电子表格等工具的崛起吗;11.7 总结(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0018.xhtml,来源项目 book-sources) - 结论依据:11.6.3–11.6.4节预测应用与数据层、应用与ML的融合及反馈循环缩短;11.6.5节指出电子表格是被忽视的数据“暗物质”并预测交互式表格与云OLAP结合的工具;11.7节总结并给出持续学习与独立思考的建议。 - 原始内容:技术趋势不仅是由那些造轮子的人决定的,也是由那些用好轮子的人决定的。