知识卡片

普通读书笔记卡 · 1053.g.1

未知URL先抓取再分类

理解等级:中级

分析上网日志时,已知 URL 可按既有规则归类;未知 URL 先抓取网页内容,再交给分类模型。最后按用户汇总访问类别,形成偏好特征。将直接匹配与内容抓取分开,既节省重复处理,又让新网址进入同一画像流程;分类误差仍会传到用户画像,模型需要持续校验。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据时代的IT架构设计》第1篇《Hadoop技术在电信运营商上网日志处理中的应用架构》“二、上网日志数据处理方法的流程”(源文件:_epub-src/OEBPS/text00006.html) - 结论依据:原文将已知 URL 的规则分类、未知 URL 的抓取和模型分类分成两条路径,随后按个人访问类别统计偏好,支撑这张卡的处理顺序与误差传递判断。 - 原始内容:对未知的URL地址,首先爬取网页数据,然后对爬取的网页数据按照网页分类模型,进行网页分类,不断优化模型,提高网页分类的准确性。