知识卡片
搜索接口与流式接口
搜索类接口是拉模式:你发一次查询,它返回一批结果,通常只给“它认为最新或最相关”的少量条目,适合抽样看趋势,不适合长期大量采集。流式接口是推模式:建立一条长连接,服务端持续把事件推过来,客户端只要写好“收到一条怎么处理”的回调(覆盖 on_success、on_error),攒够数量再主动断开。推模式能拿到大得多的数据量,而且是实时的;代价是连接要一直挂着、要自己处理断线与错误码,还要考虑把结果落到文件或数据库,而不是留在内存列表里——进程一停,数据就没了。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第9章 获取数据
原书出处 · 1 处
- 第9章 获取数据 · 查看原书依据
这不是那么有趣,很大程度上是因为 Twitter Search API 只向你展示它认为的最新结果。做数据科学工作通常需要大量的推文。这是 Streaming API 的用武之地,它允许你连接到强大的 Twitter firehose(的一个样本)。
参考来源
- 位置:《数据科学入门(第2版)》第9章 获取数据(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0013.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「这不是那么有趣,很大程度上是因为 Twitter Search API 只向你展……」
- 原始内容:这不是那么有趣,很大程度上是因为 Twitter Search API 只向你展示它认为的最新结果。做数据科学工作通常需要大量的推文。这是 Streaming API 的用武之地,它允许你连接到强大的 Twitter firehose(的一个样本)。