知识卡片
算法系统两点不同
大数据和算法类系统与传统业务系统有两点不同:一是多了离线计算部分,如 Hadoop 上的数据处理、机器学习和深度学习的模型训练;二是追求数据驱动、效果驱动,要通过 AB 测试评估新策略是否带来改进。所以架构上既要考虑如何对接离线计算框架、如何便于快速迭代优化,又不能放下高性能、高可靠、高扩展这些传统要求。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式机器学习实战》第2章《大数据算法系统架构》(源文件:_epub-src/OEBPS/Text/chapter2.xhtml)
- 结论依据:原文说明大数据和算法类系统与传统业务系统不同:多了离线计算框架部分(Hadoop数据处理、模型训练等);追求数据驱动、效果驱动,通过AB测试评估新策略是否优化;架构上要考虑对接离线计算框架、方便快速迭代,同时高性能、高可靠、高扩展也照样要考虑。
- 原始内容:一个区别是多了离线计算框架部分,比如Hadoop集群上的数据处理部分、机器学习和深度学习的模型训练部分等,另一个区别就是大数据和算法类系统追求的是数据驱动、效果驱动,通过AB测试评估的方式,看看新策略是否得到了优化和改进