← 返回卡片

原书出处

Go并发编程实战

09 一个网络爬虫框架的设计和实现

核验版本的摘录快照 · 导入于 2026-10-25T21:35:51.395Z

Robots协议也常被称为网络爬虫协议。网络站点会在其根目录下放置一个以ASCII编码的文本文件robot.txt。这个文本文件就是Robots协议文件。

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/Go并发编程实战/_epub-src/text/part0000_split_071.html

EPUB SHA-256:f17fc97a33a40d1918f4b076f0361d02fbc6f920afcc8294e7d25b31ec8e825f