知识卡片
公共爬虫语料
Common Crawl 是收集大量网页数据的公开语料来源,可用于语言模型研究。书中指出网页数据包含不均衡和有害内容;开放获取不意味着数据天然准确、代表性充分或适用于一切用途。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 流言终结者 · 查看原书依据
来自一个叫“公共爬虫”(Common Crawl)的数据集。这是一个庞大的、定期更新的免费数据库,科研人员用它从数以亿计的网页中收集原始网页数据和文本。
参考来源
- 位置:《至高无上:一场颠覆世界的人工智能竞赛》第12章《流言终结者》(来源项目 book-source:`extracted/至高无上 一场颠覆世界的人工智能竞赛/_epub-src/EPUB/xhtml/Chapter4_3`)
- 结论依据:摘录说明资料或论点,正文补充适用条件。
- 原始内容:来自一个叫“公共爬虫”(Common Crawl)的数据集。这是一个庞大的、定期更新的免费数据库,科研人员用它从数以亿计的网页中收集原始网页数据和文本。