知识卡片
续页边界要避免重复与遗漏
示例取上一批最小推文ID再减一,试图从其之前继续查询,从而避免再次包含边界项。这个规则依赖该历史端点的包含边界和ID语义,不能直接套给任意游标协议。批次少于请求条数也未必表示结束,书中指出删除和筛选可能造成不足;应以明确的续页或终止条件判断。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
kw['max_id'] = min([ tweet['id'] for tweet in tweets]) - 1 tweets = make_twitter_request(twitter_api.statuses.user_timeline, **kw) results += tweets print >> sys.stderr, 'Fetched %
参考来源
- 位置:《社交网站的数据挖掘与分析(原书第2版)》第9章《9.21.3 讨论》(spine147;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0136.html;u221-ch09-030)。
- 结论依据:原文在“kw['max_id'] = min”附近的定义、例子或代码支撑本卡核心说明:示例取上一批最小推文ID再减一,试图从其之前继续查询,从而避免再次包含边界项。边界按已读前提解释;示例未执行。
- 原始内容:kw['max_id'] = min([ tweet['id'] for tweet in tweets]) - 1 tweets = make_twitter_request(twitter_api.statuses.user_timeline, **kw) results += tweets print >> sys.stderr, 'Fetched %