主题 / 框架与集成:Storm、Spark 与消息系统怎么接 / 算法系统两点不同
返回主题:框架与集成:Storm、Spark 与消息系统怎么接
主题目录
阅读目录
分布式机器学习实战
返回主题
框架与集成:Storm、Spark 与消息系统怎么接 · 卢曼编号树
展开或收起下级:
1777
流式常驻计算
路径上下文
大数据日知录_架构与算法 · 流式计算 理解等级:未标注
展开或收起下级:
1980
事件建模范式针对状态迁移建模
路径上下文
解构领域驱动设计 理解等级:未标注
展开或收起下级:
1980.z
事件流化跨界为本地
路径上下文
解构领域驱动设计 理解等级:未标注
展开或收起下级:
1980.z.1
耐久事件连接服务
路径上下文
Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Why Event-Driven Microservices 理解等级:中级
展开或收起下级:
1980.z.1.e
重型框架的独立运行层
主题成员
Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Heavyweight Framework Microservices 理解等级:中级
1980.z.1.e.1
集群部署与作业管理
主题成员
Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Heavyweight Framework Microservices 理解等级:中级
1980.z.1.e.3
在线扩缩须保护Shuffle
主题成员
Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Heavyweight Framework Microservices 理解等级:高级
展开或收起下级:
1980.z.1.f
轻型框架复用代理与平台
主题成员
Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Lightweight Framework Microservices 理解等级:中级
1980.z.1.f.1
内部流解耦Shuffle实例
主题成员
Building Event-Driven Microservices Leveraging Organizational Data at Scale (Adam Bellemare) · Lightweight Framework Microservices 理解等级:高级
展开或收起下级:
2800
离线与实时分野
路径上下文
分布式实时计算框架原理及实践案例 · 分布式实时计算框架介绍 理解等级:未标注
2800.a
微批处理流数据
主题成员
分布式实时计算框架原理及实践案例 · 分布式实时计算框架介绍 理解等级:未标注
2800.b
Storm拓扑流计算
主题成员
分布式实时计算框架原理及实践案例 · 分布式实时计算框架介绍 理解等级:未标注
展开或收起下级:
2801
CN、AN、JN三节点
路径上下文
分布式实时计算框架原理及实践案例 · light_drtc核心技术实现 理解等级:未标注
2801.c
任务排队不并行
主题成员
分布式实时计算框架原理及实践案例 · light_drtc核心技术实现 理解等级:未标注
展开或收起下级:
2819
日志门面解耦实现
路径上下文
分布式服务架构_原理、设计与实战 · 大数据日志系统的构建 理解等级:未标注
展开或收起下级:
2819.f
采集与解析间加缓冲
路径上下文
分布式服务架构_原理、设计与实战 · 大数据日志系统的构建 理解等级:未标注
展开或收起下级:
2823
算法系统两点不同当前卡片
路径上下文
分布式机器学习实战 · 大数据算法系统架构 理解等级:未标注
2823.a
实时协同过滤
主题成员
分布式机器学习实战 · 大数据算法系统架构 理解等级:未标注
展开或收起下级:
2852
MapReduce分治
路径上下文
分布式架构原理与实践 · 分布式计算 理解等级:未标注
2852.c
Storm拓扑
主题成员
分布式架构原理与实践 · 分布式计算 理解等级:未标注
展开或收起下级:
2852.e
Storm并发粒度
主题成员
分布式架构原理与实践 · 分布式计算 理解等级:未标注
展开或收起下级:
3102
流计算平台五维评估
主题成员
实时流计算系统设计与实现 · 第6章 开源流计算框架 理解等级:中级
展开或收起下级:
3102.b
Storm拓扑的输入与处理
主题成员
实时流计算系统设计与实现 · 第6章 开源流计算框架 理解等级:初级
展开或收起下级:
3103
微批把连续流转成RDD序列
主题成员
实时流计算系统设计与实现 · 第6章 开源流计算框架 理解等级:中级
展开或收起下级:
4545
云原生重在利用动态能力
路径上下文
Infrastructure As Code · 提供应用运行基础设施 理解等级:中级
展开或收起下级:
4545.i
横向扩展转移软件责任
路径上下文
大规模分布式存储系统:原理解析与架构实战 理解等级:中级
展开或收起下级:
4545.i.1
分布式存储统一服务
路径上下文
大规模分布式存储系统:原理解析与架构实战 · 概述 理解等级:中级
展开或收起下级:
4545.i.1.b
结构化数据预先定义模式
路径上下文
大规模分布式存储系统:原理解析与架构实战 · 概述 理解等级:中级
展开或收起下级:
4545.i.1.b.1
关系模式描述行的结构
路径上下文
大规模分布式存储系统:原理解析与架构实战 · 单机存储系统 理解等级:初级
展开或收起下级:
4545.i.1.b.1.a
SQL逻辑顺序区别执行计划
路径上下文
大规模分布式存储系统:原理解析与架构实战 · 单机存储系统 理解等级:中级
展开或收起下级:
4545.i.1.b.1.a.2
查询计划区分意图与执行
路径上下文
大规模分布式存储系统:原理解析与架构实战 · 数据库功能 理解等级:中级
展开或收起下级:
4545.i.1.b.1.a.2.a
局部聚合须保留合并状态
路径上下文
大规模分布式存储系统:原理解析与架构实战 · 数据库功能 理解等级:中级
展开或收起下级:
4545.i.1.b.1.a.2.a.5
流计算围绕持续输入和窗口
路径上下文
大规模分布式存储系统:原理解析与架构实战 · 大数据 理解等级:中级
4545.i.1.b.1.a.2.a.5.a
S4用事件键路由处理元
主题成员
大规模分布式存储系统:原理解析与架构实战 · 大数据 理解等级:中级
未编号或编号待整理
此卡片不在当前主题的阅读序列中,可返回主题继续阅读。
大数据和算法类系统与传统业务系统有两点不同:一是多了离线计算部分,如 Hadoop 上的数据处理、机器学习和深度学习的模型训练;二是追求数据驱动、效果驱动,要通过 AB 测试评估新策略是否带来改进。所以架构上既要考虑如何对接离线计算框架、如何便于快速迭代优化,又不能放下高性能、高可靠、高扩展这些传统要求。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
原书出处 参考来源 - 位置:《分布式机器学习实战》第2章《大数据算法系统架构》(源文件:_epub-src/OEBPS/Text/chapter2.xhtml)
- 结论依据:原文说明大数据和算法类系统与传统业务系统不同:多了离线计算框架部分(Hadoop数据处理、模型训练等);追求数据驱动、效果驱动,通过AB测试评估新策略是否优化;架构上要考虑对接离线计算框架、方便快速迭代,同时高性能、高可靠、高扩展也照样要考虑。
- 原始内容:一个区别是多了离线计算框架部分,比如Hadoop集群上的数据处理部分、机器学习和深度学习的模型训练部分等,另一个区别就是大数据和算法类系统追求的是数据驱动、效果驱动,通过AB测试评估的方式,看看新策略是否得到了优化和改进