返回主题:数据分析、实验与因果

知识卡片

普通读书笔记卡 · 2807.a

日志与埋点互补

理解等级:未标注

推荐系统的行为数据有两个来源:网站访问日志(如 Nginx)一般不会遗漏、信息量大,可从请求 URL 分析出行为类型和资源,是数据挖掘的基础;分享、收藏、转发等通过 Ajax 异步完成的行为不会进入访问日志,要靠前端埋点实时提交,经 MQ 统一收集。访问日志按小时或天批量处理,用来周期性修正实时计算造成的画像偏差。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式实时计算框架原理及实践案例》第9章《综合实例:新闻推荐中的用户画像近实时更新》(源文件:_epub-src/OEBPS/Text/chapter11_0001.xhtml) - 结论依据:原文说明Nginx网站访问日志一般不会有遗漏、信息量大,是数据挖掘的重要来源,可从请求URL分析行为类型和资源;分享、收藏、转发等Ajax异步行为不会出现在访问日志中,需通过前端埋点经Web Service提交、MQ统一收集;定时大批量处理访问日志用于周期性修正实时计算带来的画像权重偏差。 - 原始内容:网站访问日志,一般不会有遗漏,记载信息量非常大,是一个非常宝贵的五星财富,是比较基础的数据,因此也是我们数据挖掘的一个重要来源。……比如用户的分享、收藏及转发行为,一般采用Ajax异步请求,不会在网站日志看到。