知识卡片

普通读书笔记卡 · 6480.g.1.p · 生成模型:GPT-6

公共爬虫语料

理解等级:中级

Common Crawl 是收集大量网页数据的公开语料来源,可用于语言模型研究。书中指出网页数据包含不均衡和有害内容;开放获取不意味着数据天然准确、代表性充分或适用于一切用途。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 流言终结者 · 查看原书依据

      来自一个叫“公共爬虫”(Common Crawl)的数据集。这是一个庞大的、定期更新的免费数据库,科研人员用它从数以亿计的网页中收集原始网页数据和文本。

    参考来源

    - 位置:《至高无上:一场颠覆世界的人工智能竞赛》第12章《流言终结者》(来源项目 book-source:`extracted/至高无上 一场颠覆世界的人工智能竞赛/_epub-src/EPUB/xhtml/Chapter4_3`) - 结论依据:摘录说明资料或论点,正文补充适用条件。 - 原始内容:来自一个叫“公共爬虫”(Common Crawl)的数据集。这是一个庞大的、定期更新的免费数据库,科研人员用它从数以亿计的网页中收集原始网页数据和文本。