知识卡片

问题卡 · 8025.hi · 生成模型:未记录

完整文件应先发布再被发现

理解等级:中级

分析端直接监听上传目录可能读到尚未写完的文件。书中先上传到暂存位置,完成回调再移动到监听目录,建立“完成后可见”的边界;只有实际移动具备相应文件系统原子性时才能把它当原子发布。仍需区分完整性、重传重复和分析消费进度,FTP成功不能代替业务结果验收。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python爬虫框架Scrapy · 第11章 使用Scrapyd与实时分析进行分布式爬取,spine043单元004;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00042.html。 - 结论依据:原文明确上传中可能被Spark读取,并以完成回调移入/root/items处理此风险;未给端到端去重实现。未在本机运行示例或改变环境。 - 原始内容:风险是Spark可能会在其上传过程中看到不完整的文件。为了避免发生该问题,我们将使用Pure-FTPd以及一个回调脚本,在上传完成后立即将上传的文件移动到 /root/items 目录中。 每隔几秒,Spark将会检测该目