知识卡片

普通读书笔记卡 · 2828.b

算法离不开好数据

理解等级:未标注

算法是推荐系统的核心,但离不开数据:没有数据是巧妇难为无米之炊,还要有好米,并把米里的沙子洗掉。所以除了算法,还要搭建数据仓库、把控数据质量、做清洗转换;用数据分层区分原始数据和清洗后的数据;高频使用的数据只算一次、放在中间层供各模块复用,省时间也省资源。数据质量不好,再好的算法也做不出好效果。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习实战》第8章《完整工业级系统实战》(源文件:_epub-src/OEBPS/Text/chapter8.xhtml) - 结论依据:原文说明算法是推荐系统的核心,但没有数据如巧妇难为无米之炊,还要有好米并清洗掉沙子,即要搭建数据仓库、把握数据质量、清洗转换;最好做数据分层以区分原始数据和清洗后数据;高频数据只计算一次放在中间层复用,节省时间和服务器资源;做算法依赖训练数据,数据质量不好或处理没做好,再好的算法也难有好效果。 - 原始内容:算法是推荐系统的核心,但没有数据正如巧妇难为无米之炊,再就是也得有好米才行,有了好米,但如果好米里有沙子,我们也得想办法清洗掉。……另外,有些高频的数据不需要每次都重复计算,只需要计算一次并放在一个中间层里,供其他业务模块复用