知识卡片

普通读书笔记卡 · 6228

API数据偏差

理解等级:未标注

API结果受到资源类型、地点、查询、时点、授权与访问约束筛选,不等于现实世界的全量无偏样本。世界与美国热门列表的重合只能描述这次查询返回的成员关系,不能自动代表所有用户兴趣;分析前应记录采集边界和时点,解释未取得或未覆盖的数据。

本章转推例中原帖显示23次转推,但搜索样本只收录其中一条,不能拿样本计数替代平台计数,也不能由平台计数假定本地具有全部记录。

职业网络案例进一步说明数据的限制可以来自接口设计本身:档案字段可见不等于存在查询任意两人关系的入口。不可观测关系不能直接作为不存在的边。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 11 处

    • · 查看原书依据

      分析的结果完全取决于你的查询以及其返回的数据。 注意:附录C提供了一些Python常见用法的参考资料,例如列表解析等,这可能会对你有所帮助。 示例1-4:计算两个热门话题集合的交集 world_trends_set= set([trend['name'] for trend in world_trends[0]['trends']]) us_trends_s

    • · 查看原书依据

      count=count) statuses = search_results['statuses'] # Iterate through 5 more batches of results by following the cursor for _ in range(5): print "Length of statuses", len(statuses)

    • · 查看原书依据

      前5项(对应索引为0到4的元素)。附录C有对Python切片更加详细的描述。 [ "\u201c@KathleenMariee_: #MentionSomeOneImportantForYou @AhhlicksCruise..., "#MentionSomeoneImportantForYou My bf @Linkin_Sunrise.", "RT @h

    • · 查看原书依据

      我们只收集了23个转推中的一个。原始的推文和其他22个转推都没有出现在数据集中。尽管我们可能会提问,哪22个用户转推了这条状态,但是这却不会导致任何特别的问题。 这种问题的答案是非常有价值的,因为它允许我们选取能代表一个概念的内容,比如这里的“God”,并且能够发现分享相同心情和共同兴趣的用户团体。像之前提到的一样,兴趣图谱是一种非常便于对包含人物以及他们感

    • · 查看原书依据

      用户特别授权它访问的那些。例如,作为编写一个Facebook应用程序的开发者,你将会是登录到该应用程序的用户,那么它就能够访问你特别对它授权的那些数据。在这种情况下,作为Facebook用户你可能会认为应用程序有些像你的Facebook好友,因为应用程序可以访问什么最终都受到你的控制并且你可以在任何时候撤销访问授权。Facebook平台政策文档(http:/

    • · 查看原书依据

      隐私设置中选择不共享特定类别的个人信息,例如对应用程序是否喜欢等,你将会得到空的结果而不是任何显式的错误信息。 示例2-7:查询你所有朋友的“赞” # First, let's query for all of the likes in your social # network and store them in a slightly more conve

    • · 查看原书依据

      尊重隐私,并且尽可能的遵守Facebook的服务条款(http://on.fb.me/1a1lMXM)。和Twitter以及其他这些本质上更加开放的数据源中的数据不同,Facebook数据是非常敏感的,特别是当你分析自己的社交网络时。希望这一章清楚地表明了我们可以使用社交数据实现许多激动人心的可能性,并且Facebook隐藏了大量的价值。 注意:本章和其他章

    • · 查看原书依据

      这样的API方法是故意未提供的。它的API无法把它打造成像Facebook或Twitter那样的社会图谱,因此需要你对可利用的数据提各种问题。 本章剩下的内容会教会你用LinkedIn API来读取数据,同时也会介绍一些基本的数据挖掘技术,以帮助你根据相似度来聚类不同的行业,这样就能回答下面的几种问题: ·你的哪些“联系人”(connection)最符合你的

    • · 查看原书依据

      private”,进一步的细节信息也难以获得。

    • · 查看原书依据

      地理位置约束,这样才能提供更好的API来查询流行话题(正如示例9-3中那样)。和其他API类似,该API返回的流行话题是JSON格式的,并能够转换为标准的Python对象,然后可以使用列表推导式(list comprehension)或相似的技术来操作数据。这说明探索API响应是相当容易的事情了。你可以尝试多种多样的WOE ID来对比不同地域的流行话题。例如

    • · 查看原书依据

      max_pages = 16 results = [] tweets = make_twitter_request(twitter_api.statuses.user_timeline, **kw) if tweets is None: # 401 (Not Authorized) - Need to bail out on loop entry tweet

    参考来源

    《社交网站的数据挖掘与分析(原书第2版)》第01章《挖掘Twitter:探索热门话题、发现人们的谈论内容等》 - 位置:《社交网站的数据挖掘与分析(原书第2版)》第1章《1.3.3 探索热门话题》(spine64;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0053.html;u020-ch01-002)。 - 结论依据:原文在“分析的结果完全取决于你的查询以及其返回的数据”附近的定义、例子或代码支撑本卡核心说明:API结果受到资源类型、地点、查询、时点、授权与访问约束筛选,不等于现实世界的全量无偏样本。边界按已读前提解释;示例未执行。 - 原始内容:分析的结果完全取决于你的查询以及其返回的数据。 注意:附录C提供了一些Python常见用法的参考资料,例如列表解析等,这可能会对你有所帮助。 示例1-4:计算两个热门话题集合的交集 world_trends_set= set([trend['name'] for trend in world_trends[0]['trends']]) us_trends_s - 位置:《社交网站的数据挖掘与分析(原书第2版)》第1章《1.3.4 搜索推文》(spine64;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0053.html;u021-ch01-002)。 - 结论依据:查询筛选、每批数量与固定续页次数共同限定这份数据,不把约600条当总体。 - 原始内容:count=count) statuses = search_results['statuses'] # Iterate through 5 more batches of results by following the cursor for _ in range(5): print "Length of statuses", len(statuses) - 位置:《社交网站的数据挖掘与分析(原书第2版)》第1章《1.4.1 提取推文实体》(spine65;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0054.html;u023-ch01-002)。 - 结论依据:切片仅查看当前列表前几项,不是随机抽样或代表性保证;列表不足五项也不自动构成错误。 - 原始内容:前5项(对应索引为0到4的元素)。附录C有对Python切片更加详细的描述。 [ "\u201c@KathleenMariee_: #MentionSomeOneImportantForYou @AhhlicksCruise..., "#MentionSomeoneImportantForYou My bf @Linkin_Sunrise.", "RT @h - 位置:《社交网站的数据挖掘与分析(原书第2版)》第1章《1.4.4 检视转推模式》(spine65;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0054.html;u026-ch01-002)。 - 结论依据:平台原帖计数不等于当前搜索样本内转推条数,获取转推列表又是另一个受约束查询。 - 原始内容:我们只收集了23个转推中的一个。原始的推文和其他22个转推都没有出现在数据集中。尽管我们可能会提问,哪22个用户转推了这条状态,但是这却不会导致任何特别的问题。 这种问题的答案是非常有价值的,因为它允许我们选取能代表一个概念的内容,比如这里的“God”,并且能够发现分享相同心情和共同兴趣的用户团体。像之前提到的一样,兴趣图谱是一种非常便于对包含人物以及他们感 - 位置:《社交网站的数据挖掘与分析(原书第2版)》第2章《2.2 探索Facebook的社交图谱API》(spine71;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0060.html;u033-ch01-002)。 - 结论依据:Facebook案例进一步说明可取得数据经过授权与可见性筛选,不是完整社交网络观察。 - 原始内容:用户特别授权它访问的那些。例如,作为编写一个Facebook应用程序的开发者,你将会是登录到该应用程序的用户,那么它就能够访问你特别对它授权的那些数据。在这种情况下,作为Facebook用户你可能会认为应用程序有些像你的Facebook好友,因为应用程序可以访问什么最终都受到你的控制并且你可以在任何时候撤销访问授权。Facebook平台政策文档(http:/ - 位置:《社交网站的数据挖掘与分析(原书第2版)》第2章《2.3.2 查看好友关系》(spine72;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0061.html;u038-ch01-002)。 - 结论依据:可见性筛选、只读data首批及前100名切片都会限制好友兴趣统计的覆盖,不能把结果泛化为全体朋友。 - 原始内容:隐私设置中选择不共享特定类别的个人信息,例如对应用程序是否喜欢等,你将会得到空的结果而不是任何显式的错误信息。 示例2-7:查询你所有朋友的“赞” # First, let's query for all of the likes in your social # network and store them in a slightly more conve - 位置:《社交网站的数据挖掘与分析(原书第2版)》第2章《2.4 本章小结》(spine73;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0062.html;u039-ch01-002)。 - 结论依据:小结再次提醒社交资料的敏感性与可见范围,不把可调用误当可观察所有人。 - 原始内容:尊重隐私,并且尽可能的遵守Facebook的服务条款(http://on.fb.me/1a1lMXM)。和Twitter以及其他这些本质上更加开放的数据源中的数据不同,Facebook数据是非常敏感的,特别是当你分析自己的社交网络时。希望这一章清楚地表明了我们可以使用社交数据实现许多激动人心的可能性,并且Facebook隐藏了大量的价值。 注意:本章和其他章 - 位置:《社交网站的数据挖掘与分析(原书第2版)》第3章《第3章 挖掘LinkedIn:分组职位、聚类同行等》(spine76;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0065.html;u042-ch01-002)。 - 结论依据:LinkedIn案例说明关系接口可以有意不提供,不能从联系人档案反推出任意两人是否相连。 - 原始内容:这样的API方法是故意未提供的。它的API无法把它打造成像Facebook或Twitter那样的社会图谱,因此需要你对可利用的数据提各种问题。 本章剩下的内容会教会你用LinkedIn API来读取数据,同时也会介绍一些基本的数据挖掘技术,以帮助你根据相似度来聚类不同的行业,这样就能回答下面的几种问题: ·你的哪些“联系人”(connection)最符合你的 - 位置:《社交网站的数据挖掘与分析(原书第2版)》第3章《3.2.2 下载LinkedIn的联系人并保存为CSV文件》(spine78;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0067.html;u046-ch01-002)。 - 结论依据:本节脚注说明不允许读取的联系人会显示private,缺失值不是已知姓名事实。 - 原始内容:private”,进一步的细节信息也难以获得。 - 位置:《社交网站的数据挖掘与分析(原书第2版)》第9章《9.3.3 讨论》(spine129;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0118.html;u149-ch01-002)。 - 结论依据:地域限定趋势反映该入口的可见选样与时间,不是整个世界同一榜单。 - 原始内容:地理位置约束,这样才能提供更好的API来查询流行话题(正如示例9-3中那样)。和其他API类似,该API返回的流行话题是JSON格式的,并能够转换为标准的Python对象,然后可以使用列表推导式(list comprehension)或相似的技术来操作数据。这说明探索API响应是相当容易的事情了。你可以尝试多种多样的WOE ID来对比不同地域的流行话题。例如 - 位置:《社交网站的数据挖掘与分析(原书第2版)》第9章《9.21.3 讨论》(spine147;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0136.html;u221-ch01-002)。 - 结论依据:历史时间线窗口不是账号全部历史,include_rts还会引入转推,分析范围应随采集条件保留。 - 原始内容:max_pages = 16 results = [] tweets = make_twitter_request(twitter_api.statuses.user_timeline, **kw) if tweets is None: # 401 (Not Authorized) - Need to bail out on loop entry tweet