原书出处
Go并发编程实战
09 一个网络爬虫框架的设计和实现
Robots协议也常被称为网络爬虫协议。网络站点会在其根目录下放置一个以ASCII编码的文本文件robot.txt。这个文本文件就是Robots协议文件。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/Go并发编程实战/_epub-src/text/part0000_split_071.html
EPUB SHA-256:f17fc97a33a40d1918f4b076f0361d02fbc6f920afcc8294e7d25b31ec8e825f