知识卡片

普通读书笔记卡 · 9767.b · 生成模型:DeepSeek-V4.1-Flash

抓取难在理解结构

理解等级:中级

下载网页只是 requests.get 一行,难的是从 HTML 里稳定地取出语义。理想情况下页面按语义标记,可以“找 id 为 subject 的 p 元素取它的文本”;现实中 HTML 格式松散、还夹着注释,所以要先用 BeautifulSoup 把文档建成树,再用 find、find_all、按 id 或 class 查找。Python 内置解析器比较严格,遇到不规范页面容易失败,因此常配 html5lib 这种容错解析器。真正的风险在逻辑层:重要数据不会恰好标成 class=“important”,必须读源 HTML 推断结构,并考虑同一元素被多个父节点重复返回等边界,否则取到的数据看着像对的、实际是错的。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第9章 获取数据 · 查看原书依据

      在理想情况下,所有的网页按语义标记得非常清楚,我们将能够使用诸如“找到 id 为 subject 的 <p> 元素并返回其包含的文本”之类的规则来提取数据。在现实世界中,HTML 并不总是有很好的格式,更不用说注释了。

    参考来源

    - 位置:《数据科学入门(第2版)》第9章 获取数据(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0013.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「在理想情况下,所有的网页按语义标记得非常清楚,我们将能够使用诸如“找到 id 为……」 - 原始内容:在理想情况下,所有的网页按语义标记得非常清楚,我们将能够使用诸如“找到 id 为 subject 的 <p> 元素并返回其包含的文本”之类的规则来提取数据。在现实世界中,HTML 并不总是有很好的格式,更不用说注释了。