来源书籍

社交网站的数据挖掘与分析(原书第2版)

Skill 版本:v24 社交网络数据分析类 工程实践(高浓度 + 低稳定性) 313 张卡片

Matthew A. Russell · 苏统华 等 译 · 机械工业出版社(电子版:北京华章图文信息有限公司、北京奥维博世图书发行有限公司) · 2015 · 原书第2版 · ISBN 978-7-111-48699-2

类别清单覆盖

4/7

已覆盖 4 补充生成 0 未覆盖 3

全书导读

本书用不同社交平台说明同一条分析路线:先提出关于关系、内容或活动的问题,再获取有范围的数据,清洗并明确身份和统计单位,最后选择文本或图算法解释结果。平台接口提供的是可见记录,不能自动等同于全部人群、现实关系、兴趣或影响力。

本笔记依据2015年中文版原书第2版,合集spine51–160。103个实质正文spine拆成248单元、292个阅读片段,均已完整读取;85幅图片实际查看,7项非正文逐项确认排除。主体仍是Python2.7及当时API背景,历史配额、已停服务和旧库调用不作当前用法承诺。采用light:未执行笔记复核、独立审查及审查结果优化。

全书主线

前言把Notebook和固定依赖作为共同学习环境。第1章通过Twitter引入非对称关注、实体元数据、分批搜索与基础频次,说明先确认样本范围再解释统计。第2章把这些问题转为Facebook属性图,比较兴趣词、共同成员和团结构;第3章再通过职位与地点规范化进入距离度量及聚类,强调表示和阈值会改变分组。

第4章从平台数据转向文档:TF-IDF用局部出现率和全局稀有性构造特征,余弦比较向量方向,搭配分析则关心词的联合出现。第5章将网络正文抽取、分词、标注、实体和抽取摘要串成处理链,并用精确率、召回率及留出验证约束解释质量。第6章把相同纪律应用到邮件:消息边界、MIME、地址、时区和聚合单位决定查询实际回答什么。

第7章以GitHub兴趣图谱连接不同类型节点,比较度、介数和接近中心性,同时保留采样与超级节点边界。第8章由微格式转向RDF和规则推理,区分可解析标记、共享词汇、模型内推导与现实真伪。第9章将前面的采集和统计整理为可组合配方;附录补充环境与OAuth背景,不替代现行平台规范。

译者序

译者序定位本书为社交平台采集、分析和展示的入门路线,说明章节独立性、学习工具及翻译分工。

前言

前言以Tim Berners-Lee的著作引文说明Web服务于人与人的合作,这是全书社交视角的引子。

读者必读

作者说明先对齐目标读者和学习范围,避免读者将本书当成完整应用开发教材。

管理你的期望

本书依平台案例逐渐增加分析复杂度,以关系、沟通频率、兴趣和影响等问题组织数据学习,而不交付完整商业应用。

以Python为中心的技术

Notebook把可执行代码、输出、说明与图形放进同一交互文档,书中预装环境减少初学者配置阻力。

交互笔记连接代码与解释

本书采用的IPython Notebook把代码单元、输出、文本、数学排版和图形放在浏览器里的交互文档中,便于边阅读边修改示例。它帮助把分析步骤与解释留在一起,但已有输出不自动证明当前环境已重新运行或结果可复现。书中Python2.7、旧界面及虚拟机下载均有年代前提,不能按截图推定当前可直接运行。

交互笔记连接代码与解释保存独立卡片。

原书依据 · 2 处

第2版的具体改进

第2版根据反馈减少工具种类,把依赖和交互示例集中在配置好的虚拟机,并将GitHub理解为连接人与兴趣对象的图。

固定依赖减少配置干扰

为学习示例准备统一环境并记录依赖版本,可减少不同机器和随意升级造成的差异,让精力回到数据分析。书中以Vagrant管理预装虚拟机,但版本控制只是复现的一个条件,不保证远端API、凭证、网络和外部数据永远不变;旧虚拟机也不能凭“预配置”就当当前已验证环境。

固定依赖减少配置干扰保存独立卡片。

原书依据 · 3 处

兴趣图谱连接人与关注对象

兴趣图谱把人及其关注的对象建成关系,关注对象可以是项目、组织或内容,不限另一位朋友。它强调对什么感兴趣,因此能从GitHub等协作活动中组织兴趣线索;一条关系只是所选活动下的关联,不自动证明喜爱、专业能力或现实友谊。

兴趣图谱连接人与关注对象保存独立卡片。

原书依据 · 5 处

本书约定

排版约定区分普通代码、逐字输入和上下文占位符,提示与警告标记用于阅读识别。

示例代码的使用

示例代码说明作者以仓库维护代码并给出复用许可和问题追踪渠道,属于使用材料的说明。

联系我们

联系页列出出版服务、勘误、代码工单与技术问询入口。

第2版致谢

第2版致谢记录编辑审校、读者反馈、同事及家庭支持,并再次提到Vagrant环境。

第1版致谢

第1版致谢记录编辑评审和支持者,并说明部分书中社交数据获得当事人允许。

第一部分 社交网络导引

第一部分按平台介绍采集和分析,章节可独立使用但难度逐步增加,每章提供Notebook。

交互笔记连接代码与解释关联本项背景,实质主要讲解在对应位置。

原书依据 · 2 处

序幕

序幕将配套代码视作维护中的开源项目,以配置管理和交互环境承接书的解释。

固定依赖减少配置干扰关联本项背景,实质主要讲解在对应位置。

原书依据 · 3 处

第1章 挖掘Twitter:探索热门话题、发现人们的谈论内容等

第1章以Twitter消息和非对称关注引入数据采集与兴趣图谱,再把可复用操作引向第9章。

兴趣图谱连接人与关注对象关联本项背景,实质主要讲解在对应位置。

原书依据 · 5 处

1.1 概述

本章预告开发平台请求、推文元数据、实体、频率统计和直方图的学习范围。

1.2 Twitter风靡一时的原因

本节用非对称关注解释兴趣图谱,区分账号与真实个人,并比较树状分类和协同标签的组织方式。

兴趣图谱连接人与关注对象关联本项背景,实质主要讲解在对应位置。

原书依据 · 5 处

定向关注不同于双向好友

把A关注B建成有方向的关系,并不要求B也关注A。因此读取好友或关注者列表前,要明确边表示发出关注还是被关注,不能由接口中的friends名字推定双向友谊。这里是书内模型,不声称任意账号都能无条件访问;流行人数与140字限制也不当当前事实。

定向关注不同于双向好友保存独立卡片。

原书依据 · 2 处

账号节点不等于真实个人

账号可代表个人、公司、群体、角色或作品。以账号建图时,节点数不等于真实人数,一条关注边也不直接等于现实人际关系。分析前要说明节点代表什么,避免把品牌、虚构角色和人混成同一种样本后过度解释。

账号节点不等于真实个人保存独立卡片。

原书依据 · 1 处

层级分类与协同标签不同

层级分类把条目放入明确的父子结构,协同标签则允许用户分散地为内容添加标记,形成可重叠的关联。主题标签可将共同兴趣的内容聚到一起,但不自带统一命名和完整分类层级;标签涌现也不保证每个标签都准确或代表所有用户。

层级分类与协同标签不同保存独立卡片。

原书依据 · 1 处

1.3 探索Twitter API

开始从平台模型转入如何获得和分析数据,本项是后续操作的引导。

1.3.1 基本的Twitter术语

用户、推文与时间轴是不同分析对象;推文文本之外还携带实体和地点元数据,流式接收与取时间轴也不同。

推文内容包含文本外元数据

推文不只是可见短文本,还可带用户引用、主题标签、URL、媒体和地点等结构化数据。分析时应按字段取得所需对象,不把屏幕上看到的一行文字当完整记录;元数据也可能为空或缺少,不能凭字段名字假定每条都有可用值。

推文内容包含文本外元数据保存独立卡片。

原书依据 · 3 处
文本地点不等于发送位置

文本里提到的地点、记录携带的地点元数据和发送者实际位置是不同证据。本书示例同时出现家中办公和文本地名,不能直接用其中一个证明发送坐标。地理分析应先交代字段语义及缺失情况,避免把谈论某地解释成当时位于该地。

文本地点不等于发送位置保存独立卡片。

原书依据 · 1 处
时间轴范围取决于查询对象

主页时间轴按特定用户的关注视角组织消息,用户时间轴收集某个账号发送的消息,两者不等同。流式接口又面向持续到来的事件,而非一次拿到固定集合;选择数据入口会决定你实际分析谁的哪些活动。书内界面路径、实时采样可得性和140字符上限均不当当前保证。

时间轴范围取决于查询对象保存独立卡片。

原书依据 · 1 处

1.3.2 创建一个Twitter API连接

OAuth让应用以授权凭证访问数据而不索取用户密码,构造本地客户端与服务端确认授权有效是两件事。

授权令牌不等于用户密码

OAuth允许资源所有者授权应用访问一定资源,应用使用授权凭证而不是要求用户交出登录密码。书内OAuth1.0a示例的consumer key/secret是应用客户端凭证,access token/secret是令牌凭证,不应按原文误写成用户账号和用户密码。凭证必须保密,允许读哪些资源仍由授权范围和服务端检查决定。

第9章把OAuth1.0a前两项翻译成用户账号/密码,但代码实际使用CONSUMER_KEY/CONSUMER_SECRET,表示客户端凭证;后两项才是该授权关联的token/secret。不能按误译索要或写入用户登录密码。

授权令牌不等于用户密码保存独立卡片。

原书依据 · 7 处
创建客户端不证明授权有效

示例只是构造OAuth对象和Twitter客户端,再打印一个本地对象表示。这不足以证明凭证有效、远端接受请求或有读取资源权限。应区分本地配置成功与实际认证请求成功,并根据响应处理无效或过期授权;本轮未发请求,不能把书内预期输出写成已认证结果。

创建客户端不证明授权有效保存独立卡片。

原书依据 · 2 处
对象文档帮助须匹配环境

Python的help可查看当前已加载模块或对象的文档,pydoc可从命令行查询并生成HTML,IPython的问号语法则属于交互环境。查询的是实际安装对象,不能把另一个版本文档或IPython专用语法直接当普通Python语句;书中tiwtter为拼写误差。

对象文档帮助须匹配环境保存独立卡片。

原书依据 · 1 处

1.3.3 探索热门话题

热门话题请求由地点和时点界定结果,集合运算比较成员重叠;限流、序列化表示和无穷集合基数各有独立含义。

查询标识位置影响参数含义

接口包装可能用不同参数名区分URL路径成员和查询参数。书中twitter库用_id将地点编号放入查询字符串;不能只因为名字近似就把它换成id,或把代码中的_trends笔误照搬为接口路径。此规则属于特定库与版本,真正HTTP请求须按对应接口契约核对。

查询标识位置影响参数含义保存独立卡片。

原书依据 · 2 处
请求频率要匹配限额和更新

如果资源刷新比轮询慢,反复请求可能只重复取得相同结果,还消耗限额。规划请求时同时记录资源更新节奏和端点限额,而不是只按程序能跑多快调度;书中5分钟更新与15分钟15次是当时接口示例,不是当前配额承诺。

请求频率要匹配限额和更新保存独立卡片。

原书依据 · 2 处
API数据偏差

API结果受到资源类型、地点、查询、时点、授权与访问约束筛选,不等于现实世界的全量无偏样本。世界与美国热门列表的重合只能描述这次查询返回的成员关系,不能自动代表所有用户兴趣;分析前应记录采集边界和时点,解释未取得或未覆盖的数据。

本章转推例中原帖显示23次转推,但搜索样本只收录其中一条,不能拿样本计数替代平台计数,也不能由平台计数假定本地具有全部记录。

职业网络案例进一步说明数据的限制可以来自接口设计本身:档案字段可见不等于存在查询任意两人关系的入口。不可观测关系不能直接作为不存在的边。

API数据偏差保存独立卡片。

原书依据 · 11 处
JSON表示不涵盖任意对象

JSON以对象、数组和受支持的标量组合表示结构化数据,适于交换API结果;它不自动保留程序对象的行为、循环引用或任意运行时类型。json.dumps的indent改善可读性,不增加统计信息;原生Python对象的打印表示和合法JSON也不是同一种格式。

JSON表示不涵盖任意对象保存独立卡片。

原书依据 · 1 处
集合重叠不保留频次排序

集合把成员去重后比较:交集取共有成员,并集取任一集合成员,差集取指定一边独有成员。将热门话题名转成set便于比较重合,但会丢掉重复次数和排名;共有成员也可能为空,不能据一次结果推定固定关联。

邮件地址集合的交集是既出现为发件又出现为收件的地址,差集是在当前语料中仅观察到一类角色;它不记录邮件数量、先后或现实中是否曾有其他通信。

集合重叠不保留频次排序保存独立卡片。

原书依据 · 4 处
无穷基数按双射比较

比较无穷集合大小不能只按“多出负数”直觉判断。若能让两集合元素一一对应且都不遗漏,它们基数相同。正整数可依次对应0、1、-1、2、-2等全部整数,因此整数集合仍可数无穷;书中交错序列若声称覆盖全部整数,还应补上0。可数不意味着计数会在有限时间结束。

无穷基数按双射比较保存独立卡片。

原书依据 · 1 处

1.3.4 搜索推文

续页查询由响应中的导航参数推进,搜索集合随查询变化;结构化结果包含文本之外的嵌套实体与用户记录。

推文内容包含文本外元数据关联本项背景,实质主要讲解在对应位置。

API数据偏差关联本项背景,实质主要讲解在对应位置。

原书依据 · 14 处
续页参数承接同一查询

动态数据接口可能返回用于下一批结果的查询信息,而非稳定的第几页。应沿响应给出的导航继续并识别终止条件;书中缺少next_results时退出,最多再循环五批是采集预算,不证明已取得全部匹配数据。refresh_url表示更新方向,与向更旧结果续页不是同一操作。

第9章讨论把这种机制统称cursor,但代码实际沿search_metadata.next_results中的max_id等查询参数续页,不能与好友列表等端点的next_cursor混用。

续页参数承接同一查询保存独立卡片。

原书依据 · 2 处
手拆续页参数会改变查询

按&和=手拆查询再塞进字典,会遇到值中含等号、重复键、空值和百分编码等边界;字典还可能丢掉同名参数的多值。应按该接口的编码与多值规则解析,避免误解或重复编码;本书短例不构成通用URL查询解析器。

手拆续页参数会改变查询保存独立卡片。

原书依据 · 2 处
空搜索结果不能读取首项

查询可能没有结果;即使续页循环正常结束,statuses也不保证非空。示例直接打印statuses[0]会在空列表时索引越界,因此应把“没有匹配结果”作为普通结果处理,和请求失败或响应结构异常分开。

空搜索结果不能读取首项保存独立卡片。

原书依据 · 5 处

1.4 分析140字的推文

旧推文结构区分可见文本、实体、原帖包装、全局计数和随认证观察者变化的字段,字段相近不表示同一语义。

推文内容包含文本外元数据关联本项背景,实质主要讲解在对应位置。

原书依据 · 3 处

观察者状态不等于转推类型

旧API的retweeted描述认证用户是否转推了该消息,而不是这条记录自身是否是一条转推。判断转推包装应看retweeted_status等对应结构,不能用观察者布尔状态代替记录类型;书中retweet_status和retweet两处名字不应照抄为实际字段。

观察者状态不等于转推类型保存独立卡片。

原书依据 · 2 处

转推包装要分清两位作者

转推外层记录与retweeted_status内的原帖各有user、文本和标识。分析谁说了什么时,应明确选的是转发者还是原作者,避免把外层账号归给原帖内容。原帖转推计数描述原帖传播,不构成一条转推被再次逐层转发的链路;不同采集时点的计数也不保证永远相等。

转推包装要分清两位作者保存独立卡片。

原书依据 · 3 处

1.4.1 提取推文实体

实体提取把结构化字段转成列表,嵌套列表推导按外到内循环展开;文本切词则需要单独说明规则。

API数据偏差关联本项背景,实质主要讲解在对应位置。

原书依据 · 11 处
嵌套推导按循环顺序展开

双重列表推导先遍历每条状态,再遍历该状态中的每个引用实体,把内层结果按循环顺序收集成一张列表。它不是自动保持一条推文对应一个结果,可能零个或多个;输入字段缺失时也不能据推导写法保证成功。简洁语法与性能收益是两件事,未测量不声称总比循环快。

嵌套推导按循环顺序展开保存独立卡片。

原书依据 · 1 处
空白切词不同于语言分词

按空白split得到的是由空白划分的字符串片段,标点、表情、昵称和主题标签可能仍连在片段里;无空格文本也未必被拆成语义上的词。因此统计前要声明“词”在当前分析中的操作定义,不能把split结果直接当通用自然语言分词。

本章具体例子study.与study说明标点处理会改变词项身份,进而改变TF、DF和余弦输入;这种误差来源是预处理,不是余弦函数自己能够纠正。

空白切词不同于语言分词保存独立卡片。

原书依据 · 4 处

1.4.2 使用频率分析技术分析推文和推文实体

Counter把观测成员计成频次,按降序看高频项并以PrettyTable呈现;解释频次仍需样本和预处理边界。

计数器把成员映射到频次

Counter将观测元素映射到出现次数,most_common给出高频项及计数。统计单词、昵称和标签时应分别构造计数器,因为三者计量单位不同;排序用于浏览频率,同频项的显示先后不代表谁更重要。截取前十项也不改变未显示成员仍在原分布中的事实。

计数器把成员映射到频次保存独立卡片。

原书依据 · 2 处
频次排名不等于影响力

本例某昵称被提及六次,只能说明它在这个查询样本中出现较多。不能由此断定它在整个平台最重要,更不能把提及当赞同、独立用户数或因果影响。样本由热门标签和采集窗口筛出,重复转推和文本处理还会改变计数;解释前先交代这些条件。

对(count, name, text)元组逆序排序时,同计数条目仍会由后续名字或文本决定顺序,不能把这类顺序解释成影响力差异。

频次排名不等于影响力保存独立卡片。

原书依据 · 3 处
规范化须匹配分析对象

同一标签出现大小写变体时,可按分析目标归并后统计,但要保留原值并说明规则。把所有词、昵称、标点都机械小写或删除,可能改变原本要分析的对象差异;表中my和My分开,是未经这种归并的原始计数。表情等看似噪声的片段也可能承载查询相关含义。

规范化须匹配分析对象保存独立卡片。

原书依据 · 1 处
表格排版不改变统计结果

PrettyTable将统计结果按字段名和数据行组织成固定宽度的文本表,可为文字列左对齐、计数字段右对齐以方便比较。它改善输出阅读,不重新计算频率,也不使数据更具代表性;展示字段、排序和实际统计含义应分别交代。

表格排版不改变统计结果保存独立卡片。

原书依据 · 2 处

1.4.3 计算推文的词汇丰富性

词汇丰富性用总体互异词型数除以词次总数;它与每条文本平均词数是不同统计,解释时不能跨层次推广。

词型比例依赖语料和切词

本节词汇丰富性是类型—词次比:互异token数除以全部token数。结果受切词、大小写归并、重复内容和语料范围影响,比较对象时先统一这些条件。对昵称和标签使用同一公式得到的是这些实体的互异比例,不应仍直接叫自然语言表达能力;数值也不自动证明话题宽泛或营销有效。

词型比例依赖语料和切词保存独立卡片。

原书依据 · 2 处
总体词型比不能逐条分摊

把全语料的互异词数/总词数,直接解释为每条推文拥有相同比例的独特信息,混淆了总体词型与逐条重复。教学反例:两条文本“a b”和“a c”共有三个词型、四个词次,总体比例0.75,但每条内部都是两个互异词;乘平均词数所得1.5不是每条内部互异词数2。该比值也不度量语义信息量。

总体词型比不能逐条分摊保存独立卡片。

原书依据 · 1 处
平均词数不同于平均词长

average_words先累加每条文本切分出的token数,再除以文本条数,返回每条平均token数。它没有统计字符长度,因此原文把结果说成“单词的平均长度”错误。得到约六个token也不能推出几乎没有缩写或噪声;这些需要观察内容和相应指标。

平均词数不同于平均词长保存独立卡片。

原书依据 · 2 处
空语料需要定义统计结果

词型比例在token为空时分母为零,平均每条词数在状态列表为空时也没有定义。应把“没有可统计数据”作为明确结果处理,而不是让演示公式直接除零,或任意填零后与真正低多样性混淆;如何返回缺失或错误应由分析接口约定。

第9章analyze_tweet_content只提前检查statuses是否为空,未检查提到名、标签或所有文本token是否为空;这些子语料为空时,词型比例函数仍会除零。空消息集合和空实体集合须分别定义结果。

空语料需要定义统计结果保存独立卡片。

原书依据 · 2 处

1.4.4 检视转推模式

原生转推包装和文本手工引用提供不同证据;样本中看到的记录与平台原帖计数也不能相互替代。

转推包装要分清两位作者关联本项背景,实质主要讲解在对应位置。

API数据偏差关联本项背景,实质主要讲解在对应位置。

频次排名不等于影响力关联本项背景,实质主要讲解在对应位置。

原书依据 · 17 处
手工引用需要启发式识别

原生转推可按结构化包装识别,手工复制并加入RT或via的文本引用则可能只有约定标记。分析传播时可结合元数据与文本启发式,但文本标记不保证一定是真转发,也不能完整覆盖所有引用格式;两种证据的来源和可靠性应分别记录。

第9章配方只使用findall结果的第一个匹配,可能漏掉之后的RT或via片段;最终set去重还会丢失次序。应保留匹配范围与识别依据,不能把所得名字集合当完整转推链或已证实的原创归属。

手工引用需要启发式识别保存独立卡片。

原书依据 · 2 处
内容转发不能证明身份认同

观察到账号转发某条含宗教词语的内容,只能确认这次传播行为,不能据此推断现实个人的宗教身份或信仰。引用、玩笑、评论语境和是否认可内容都可能不同;书内练习的猜想不等同已经验证的身份结论,本笔记不对示例用户作这类推断。

内容转发不能证明身份认同保存独立卡片。

原书依据 · 1 处

1.4.5 使用直方图将频率数据可视化

频率排名图与分箱直方图回答不同问题;绘图时必须先说明输入单位、坐标尺度及统计量。

频率排名图不同于直方图

排名图把成员按出现次数排序,横轴是顺序、纵轴是次数;直方图则把这些次数作为观测值分箱,横轴是次数区间、纵轴按相应统计规则计量。前者看排名衰减,后者看多少成员集中在哪些频次范围,不能只因都画频率就交换解释。

频率排名图不同于直方图保存独立卡片。

原书依据 · 1 处
词频直方图数的是词型

把Counter.values送给默认未加权hist,每个互异成员的次数是一个观测值,桶高数的是落在该区间的成员个数,不是这些成员贡献的总词次。例如频次1、1、2落在同桶时,高度为3个词型而不是4个词次。图1-5坐标也写Number of items in bin;原文把纵轴解释为全部词频之和不正确,密度或加权模式须另说明。

好友相似度示例把每位好友的共同赞数传给hist,此时横轴应为共同赞数量的区间、纵轴为落入区间的好友数。原书示例轴文字及图2-7把这两个含义颠倒,不能照抄。

词频直方图数的是词型保存独立卡片。

原书依据 · 3 处
对数排名不能从零开始

只传y时,plot类接口默认横坐标从0开始,而对数坐标没有零的位置。若想表示第1名到第N名,应显式提供从1开始的排名,避免最高频成员落到无效横坐标而被裁剪或遮蔽。书图左端约34而非表中最高92与此风险吻合,但本轮没有运行代码验证历史库行为。

对数排名不能从零开始保存独立卡片。

原书依据 · 1 处
分箱范围会改变视觉概括

直方图把数值按区间合并后显示,箱边界、宽度和覆盖范围决定哪些观测归到一起。低频桶很高可表示低频成员很多,不等于总频次数量必然由低频成员主导;比较多个图时先统一或解释分箱和计量单位,不能只看柱面积下结论。

用arange(1,max(values),1)构造边界时,停止值本身不进入边界序列;若最大值为7,最后边界只有6,7会落在范围外。图2-7上下图差异不能只解释成箱宽变化,必须先确保所需数据被边界覆盖。

分箱范围会改变视觉概括保存独立卡片。

原书依据 · 2 处

1.5 本章小结

本章从授权、地点热门列表、搜索续页进入实体、频次和词型比例,再以图表提出下一步问题。

计数器把成员映射到频次关联本项背景,实质主要讲解在对应位置。

原书依据 · 2 处

1.6 推荐练习

推荐练习覆盖文档、交互环境、自有存档、API探索、地区比较和图形展示,作为后续实践候选。

1.7 在线资源

资源表汇总本章文档、库、协议、开发工具与平台入口,作用是定位进一步阅读。

第2章 挖掘Facebook:分析粉丝页面、查看好友关系等

本章将Facebook好友和页面的赞关系分别作为社交与兴趣数据入口,平台隐私和授权控制限定可见范围。

兴趣图谱连接人与关注对象关联本项背景,实质主要讲解在对应位置。

原书依据 · 5 处

2.1 概述

本章预告Graph API、Open Graph、赞分析、团分析和D3展示,后续分别展开。

2.2 探索Facebook的社交图谱API

好友可见性和应用授权是不同关系;平台工具能帮助探索查询,但不能超出应用实际取得的权限。

API数据偏差关联本项背景,实质主要讲解在对应位置。

原书依据 · 11 处

应用授权不同于好友关系

用户之间的好友关系描述社交连接,应用授权则描述应用允许访问哪些资源。把应用比作好友只是教学比喻,不能由此推定它能看到用户所有好友信息或用户可见的一切。权限可被拒绝或撤销,查询结果需要按实际授权、平台与资源规则解释。

应用授权不同于好友关系保存独立卡片。

原书依据 · 1 处

2.2.1 理解社交图谱API

图谱API以节点为起点,通过字段选取和关系扩展返回数据;焦点、邻域、分页与授权必须分别说明。

社交图谱

社交图谱用节点表示账号、页面或内容等对象,用边表示好友、赞等联系;id/name等字段描述节点属性,关系则把节点相连。选择边的含义和方向后,才有明确的遍历与分析对象;查询得到的只是当前可见部分,不能把缺失边直接解释为现实中不存在关系。

结构图:数据模型教学示意,不是代码类关系,也不表示真实账号的观测数据。

flowchart LR
 A["账号甲:id/name"] ---|好友| B["账号乙:id/name"]
 A -->|赞| P["页面:id/name"]
 B -->|赞| P

好友的对称性与赞的方向性是这个旧平台案例选择的关系含义,不把它们混成一个无类型连接。

社交图谱保存独立卡片。

原书依据 · 1 处
自我图需要说明邻域范围

自我图以一个焦点节点及一定范围内的邻居组织网络,需说明取了哪些关系、多少步和哪些边。它可以包含邻居之间的已知连接,不必只有轮辐;扩展到好友所赞的页面时,节点种类和遍历范围已变化。实际查询没有返回的边也不能凭模型图补造。

自我图需要说明邻域范围保存独立卡片。

原书依据 · 2 处
字段扩展不扩展授权

查询中增加friends或likes等关系,只表达希望取哪些数据,不会自动增加访问许可。书内Explorer是普通应用,仍需取得对应授权;没有结果要分别检查字段、关系和授权等原因,不以多写一个字段当作越过权限的办法。

字段扩展不扩展授权保存独立卡片。

原书依据 · 2 处
嵌套查询各层都有数量边界

嵌套字段扩展把多级数据选择放进一个请求,但每层数量约束作用在各自集合。对十位好友各取十个赞,最多取得该层约一百条关系记录,不保证一百个互异页面,也不表示取完所有好友和赞。分页、偏移和终止条件要按每层返回契约处理;书内默认5000项仅属当时接口。

嵌套查询各层都有数量边界保存独立卡片。

原书依据 · 2 处
把令牌放进输出会泄露凭证

示例先把ACCESS_TOKEN拼入查询URL,再打印整个URL,会使凭证出现在Notebook输出或后续复制的地址中。调试时应观察必要的请求结构和错误信息,并避免把完整凭证混入可分享材料;本轮仅阅读占位示例,没有使用或转发图中令牌。

OAuth回调示例还把token和secret插入HTTP响应,展示“写入成功”不需要展示凭证本身。临时值与最终值均应避免出现在可分享Notebook或页面里;本轮只使用空占位读取源例。

把令牌放进输出会泄露凭证保存独立卡片。

原书依据 · 3 处
解析响应不证明请求成功

示例直接GET后解析JSON,能得到字典只说明响应可按该格式解释,不保证HTTP状态、平台错误字段、权限和所需数据都满足要求。结果处理应区分传输失败、HTTP拒绝、平台错误和空集合,并按目标确认字段;一次解析成功不能替代业务完成判断。

IMAP也把命令状态与数据分开返回;示例未检查status便取data[0]和抓取字节,会把协议拒绝、无匹配或响应形状错误混在解析异常里。先判断命令是否得到所需业务结果,再处理载荷。

解析响应不证明请求成功保存独立卡片。

原书依据 · 3 处
历史查询语言也有平台边界

FQL是本书介绍的旧Facebook图查询入口,用SQL式选择、过滤和嵌套查询表达用户与关系条件,图谱API则按对象字段与连接组织请求。语法熟悉不意味着任何数据库SQL都可在平台执行;本书对未来等价性的期待是当时判断,不能当当前FQL可用性承诺。

历史查询语言也有平台边界保存独立卡片。

原书依据 · 1 处

2.2.2 理解开放图协议

Open Graph用网页头部的机器可读元数据描述对象,Graph API再按平台接口查询这些对象及连接,二者职责不同。

网页元数据描述可链接对象

Open Graph在网页头部加入属性元数据,使网页可作为社交图中的对象被识别和展示。title/type/image/url分别说明标题、对象类型、代表图和规范对象地址;它提供机器可读取的描述,不是仅放一个赞按钮。当前官方基本例子用video.movie,书中movie值属于旧例,不应照旧值假定符合当前类型表。

网页元数据描述可链接对象保存独立卡片。

原书依据 · 1 处
网页协议不等于平台查询接口

Open Graph描述网页对象的元数据,Graph API负责向特定平台请求节点、字段和关系。实现页面标记不等于平台一定收录、某用户已经点过赞或应用有读取权限;书中IMDb页面、查询URL及图搜索产品只是当时的示例,不作当前服务可用性保证。

网页协议不等于平台查询接口保存独立卡片。

原书依据 · 1 处
对象字段与关联入口分开

对象字段回答这个节点有哪些属性,connections给出继续取得相关对象集合的入口。返回一个photos链接不等于已经下载全部照片,metadata列出字段也不保证当前调用者有该字段所有值。沿入口抓取仍需核对分页、权限及资源类型,不能把节点详情和整个关系网络视作同一结果。

书中SDK示例的好友和搜索返回值都含data与paging.next,只访问data会丢弃续页入口。当前社区库另提供get_all_connections迭代分页,不能把get_connections的方法名理解成自动拉完所有页。

对象字段与关联入口分开保存独立卡片。

原书依据 · 4 处

2.3 分析社交图谱联系

GraphAPI把单对象、批量对象、关联集合和通用请求分成几个入口;返回字典中的data与paging仍需分别处理,SDK不会消除授权和分页边界。

对象字段与关联入口分开关联本项背景,实质主要讲解在对应位置。

解析响应不证明请求成功关联本项背景,实质主要讲解在对应位置。

原书依据 · 7 处

图谱客户端按查询对象分工

本书Python facebook-sdk的GraphAPI用get_object取一个对象、get_objects取多个对象、get_connections取对象的某类关联,request承担一般路径请求。当前社区源码中前三者转交request;书内get_objects签名的id应按用例和当前源码理解为ids列表,而不是单个标识。SDK封装请求,不自动保证授权、数据全量或业务成功。

结构图:实际类的主要方法;省略未涉及的构造与写接口,不虚构服务层。

classDiagram
 class GraphAPI {
  get_object(self, id, **args)
  get_objects(self, ids, **args)
  get_connections(self, id, connection_name, **args)
  request(self, path, args=None, post_args=None)
 }

request按本书展示其较短签名,当前源码另有files/method参数。返回值需按调用和响应类型解释,不能统一虚构为某个业务模型。

图谱客户端按查询对象分工保存独立卡片。

原书依据 · 1 处

2.3.1 分析Facebook页面

页面分析先定义规模、参与和比较对象,再解释历史计数;同一本书可以对应多个独立平台节点,计数比例和记录聚合都要有明确语义。

对象字段与关联入口分开关联本项背景,实质主要讲解在对应位置。

空白切词不同于语言分词关联本项背景,实质主要讲解在对应位置。

原书依据 · 8 处
页面规模与参与指标分开

页面赞数与谈论计数回答不同问题:前者是某种累积规模,后者按平台定义统计某类参与事件或人群。书中JSON实际字段是likes而不是叙述中的like_count;talking_about_count为22也不能直接解释为固定的22名经常讨论者。比较前需明确字段定义、统计时间和可见范围,本书911/22只是历史示例。

页面规模与参与指标分开保存独立卡片。

原书依据 · 1 处
计数比不等于群体占比

把一本书的赞数除以出版商的赞数,得到两个集合大小的比,不能直接称作出版商粉丝中喜欢这本书的比例。后者需要知道两群人的交集,再用交集人数除以出版商粉丝人数;没有包含关系证据,书中约3%的说法只能作规模之比。

计数比不等于群体占比保存独立卡片。

原书依据 · 1 处
对比对象须控制情境差异

解释页面赞数差异,需要考虑对象类型、发布时间、目标群体、推广活动和统计时点。书、出版社与编程语言的页面受众不相同,较早出版的另一书也不是自然对照。描述性计数可帮助提出问题,不能仅凭计数高低证明内容更好或某次营销造成增长。

对比对象须控制情境差异保存独立卡片。

原书依据 · 1 处
实体解析区分记录与实体

实体解析把不同来源或不同标识的记录与现实中的同一个对象建立对应。一本书的Facebook粉丝页和出版目录页可能指向同一书,却是两个独立节点,各有自己的赞数;确认指向相同实体不等于这些计数可直接相加,重叠和指标定义还需另查。本节说明问题与用途,没有提供完整匹配算法。

实体解析区分记录与实体保存独立卡片。

原书依据 · 3 处
倍率与增幅需说明基准

比较两个正数时,倍率是新值除以基准值,增幅则是两值之差再除以基准值。教学例从10到70是原来的7倍、相当于原值700%,增幅是600%;“差别700%”混淆了这些口径。书中品牌页面数量和2013年公司规模数据仅作历史案例,比较百分比必须交代分母。

倍率与增幅需说明基准保存独立卡片。

原书依据 · 1 处
词袋保留频次而舍弃语序

词袋把文本表示为词项及其出现次数,便于用Counter先看哪些词常见。这种表示舍弃词序:相同词频可以对应不同句意,因此不能仅凭高频词推断完整态度或因果。书内按空格切分只是建立基准的近似方法,切词、大小写和规范化决定最终计数对象。

TF查询若把各查询词得分相加,只要求这些词分别出现;Mr. Green和Green Mr.可能得到相同总分,不能据此声称命中同一个短语。标点残留和未知查询词也会影响结果,需先明确分词及短语检索要求。

词袋保留频次而舍弃语序保存独立卡片。

原书依据 · 2 处

2.3.2 查看好友关系

好友兴趣分析先收集关系,再按对象与类别计数、检查贡献偏斜并计算交集;好友网络则以无向边建图,区分极大团与最大团,最后把图结构交给布局呈现。

API数据偏差关联本项背景,实质主要讲解在对应位置。

嵌套查询各层都有数量边界关联本项背景,实质主要讲解在对应位置。

词频直方图数的是词型关联本项背景,实质主要讲解在对应位置。

分箱范围会改变视觉概括关联本项背景,实质主要讲解在对应位置。

原书依据 · 18 处
显示名称不能充当唯一键

示例用好友显示名作为字典键,同名好友会写入同一位置,后来的赞列表会覆盖前者。页面同名也可能把不同对象的计数混合;应保留稳定对象ID作为身份依据,把名称留作显示。改用ID并不自动解决跨平台的实体解析,但能避免本地把显示文本当唯一标识。

显示名称不能充当唯一键保存独立卡片。

原书依据 · 4 处
空返回不证明没有兴趣

书中说明隐私不共享可能产生空集合,因而零条赞不必然表示该好友没有兴趣。结果还受授权、查询和分页影响;统计时需区分已观察到零、不可见和未取得,不能把这些缺失原因统一当作人的属性。

空返回不证明没有兴趣保存独立卡片。

原书依据 · 1 处
逐对象请求有网络累积成本

对每位好友再取一次赞或共同好友,会产生随好友数增长的独立HTTP请求。切片可减少后续请求,但截取前100名不等于随机样本;字段扩展可能合并请求表达,也不保证每层集合全量。中途失败与部分成功需要可识别,不能只由列表推导完成就宣称整网已抓取。

逐对象请求有网络累积成本保存独立卡片。

原书依据 · 1 处
类别标签不同于话题归纳

页面的category是平台给对象的类别,如书籍、电影和音乐家;从页面名称归纳体育等话题是另一种分析。两个类别频率表排序不同,并不相互矛盾;对象属于书籍不能证明其内容与体育无关,也不能据类别直接识别朋友的宗教等身份。

类别标签不同于话题归纳保存独立卡片。

原书依据 · 1 处
少量高产对象会主导聚合

把所有好友的赞一起计数,会让赞很多的少数人贡献更多记录。先按好友计算赞数并排序,可以检查总体类别频率是否主要由几人贡献;“很多书籍记录”并不等于“大多数好友都喜欢书”。是否按人等权或按记录计数取决于问题,二者不能混称。

少量高产对象会主导聚合保存独立卡片。

原书依据 · 1 处
按字段排序需明确提取位置

字典items产生键值对,按每个二元组第二项排序可得到按数值排名的列表。itemgetter(1)提取的是位置1,不是按字段名称或第一项排序;reverse=True改变排序方向。它决定展示次序,不会重新计算计数或保证相同计数有业务上有意义的先后。

按字段排序需明确提取位置保存独立卡片。

原书依据 · 3 处
共同项目数是相似度基线

用两个赞集合的交集大小比较兴趣,得到的是共同项目数量,而不是概率或完整人格相似度。它没有按各自兴趣总量归一化,赞很多的人可能获得更多交集;还需明确集合元素是否为同一对象的ID。书中把本人赞与所有朋友赞的键求交只找出全网曾重合的项目,尚不是逐位好友的最终排名。

共同项目数是相似度基线保存独立卡片。

原书依据 · 2 处
去重键决定重合计数单位

示例先生成(好友,赞项目)对,再用set去重,之后按好友计数,从而让同一好友的同一项目只贡献一次。去重不应把所有好友的同名项目合为一个,也不能修复此前显示名覆盖丢失的记录;应先明确对象身份,再定义重复。

去重键决定重合计数单位保存独立卡片。

原书依据 · 1 处
好友关系图要选对边方向

本书小节标题写有向图,但代码实际用NetworkX的Graph表示相互好友关系,边没有方向。关注关系通常需要区分方向,互为好友则可在此案例选无向边;算法适用性取决于实际建图类型,不能仅凭小节标题判断。

好友关系图要选对边方向保存独立卡片。

原书依据 · 2 处
极大团不一定是最大团

团是任意两点都相连的节点子集。极大团不能再加入其他节点仍保持全连接,最大团则在全图所有团中节点数最多;最大团也极大,较小的极大团仍可能存在。图2-8的橙色四节点彼此相连构成最大团,其他三点团可在局部不可扩展而不是全图最大。

极大团不一定是最大团保存独立卡片。

原书依据 · 1 处
团枚举要区分输出与筛选

NetworkX的find_cliques枚举无向图的极大团,书中先全部转成列表,再按长度找最大者,所以num_cliques数的是极大团而非所有子团。当前官方文档明确输出数量最坏可随节点数指数增长;一次性列表还会存下全部输出。枚举、找最大值与判定是否存在给定大小的团是不同任务,不把“NP完全”简化为每次输入都必耗指数时间。

团枚举要区分输出与筛选保存独立卡片。

原书依据 · 1 处
最大团交集不能证明影响力

把全部最大团转成集合再求交,可找出每个最大团都包含的节点,但这是结构统计,不等于影响力或信任的直接测量。书中建图时人为让me连到每位好友,me出现在所有最大团中与构造有关;另一个共同节点也不能据此自动称为最有影响力者,需要另外定义并验证指标。

最大团交集不能证明影响力保存独立卡片。

原书依据 · 1 处
图结构与布局坐标分开

数学图先规定节点和边,布局算法再把它们放进二维画布。拖动节点或调整力参数能改变外观而不改变图本身;视觉上挨近不自动证明现实关系更密、地理更近或影响力更强。图2-9可用于探索连接,但须回到边和明确的网络指标解释。

图结构与布局坐标分开保存独立卡片。

原书依据 · 2 处
节点链接数据连接分析与展示

书中先用NetworkX建图,再把节点—链接结构序列化为JSON,最后由预备好的HTML和D3展示;IFrame只嵌入网页,不负责计算团。序列化后的字段应与读取它的页面版本约定一致;原书没有展开D3布局实现,不能把保存JSON当作已完成可视化。

结构图:数据处理流程,不是代码类关系。

flowchart LR
 A["已取得的好友关系"] --> B["NetworkX无向图"]
 B --> C["团等结构统计"]
 B --> D["node_link_data后写JSON"]
 D --> E["HTML与D3布局"]
 E --> F["Notebook IFrame展示"]

节点链接数据连接分析与展示保存独立卡片。

原书依据 · 2 处

2.4 本章小结

本章把对象查询、关系分析和展示连接起来;探索应逐步细化问题,敏感数据的可见范围仍由隐私与授权决定。

API数据偏差关联本项背景,实质主要讲解在对应位置。

原书依据 · 11 处

2.5 推荐练习

推荐把页面比较、自然语言分析、直方图、图展示与不同相似性标准组合起来提出练习。

2.6 在线资源

资源列表提供平台查询、图算法、展示与文本模型等外部入口,本节没有展开正文论证或操作步骤。

第3章 挖掘LinkedIn:分组职位、聚类同行等

职业网络的数据可用范围与平台关系接口相互约束;分析把档案提取为特征,定义相似性,再把足够相似的对象分组。

API数据偏差关联本项背景,实质主要讲解在对应位置。

原书依据 · 11 处

聚类探索

聚类从对象提取特征,再按选定的相似性或距离,把相近对象分到一组,用来探索没有预先类别标签的数据结构。本章用职位、公司和地点档案作输入,但换一种特征或相似性定义就可能得到不同分组;结果是待解释的候选结构,不是证明现实类别天然存在,也不自动说明分组有职业上的意义。

聚类探索保存独立卡片。

原书依据 · 2 处

3.1 概述

本章预告三种聚类、数据清洗与标准化,以及地点文本转坐标和地图展示。

地理编码把地点映射为坐标

地理编码把地点的文本描述转换为坐标,便于把档案位置用于地图展示或空间分析。它是表示转换,不等于已经取得人的精确实时位置;同一名称可能指多个地点,转换结果的含义与精度需要结合输入及解析依据解释。此处给出作用,具体查询在后文展开。

本章同名Smithville和多处Nashville的例子说明地点文本可能返回多个候选,国家、州与原档案语境有助于消歧。删除Greater/Area只是查询规范化,不会证明首候选就是正确地点;区域坐标也不是某个人精确所在点。

地理编码把地点映射为坐标保存独立卡片。

原书依据 · 2 处

3.2 探索LinkedIn API

本章多数分析从导出的联系人CSV开始,API获取只是输入途径之一,聚类方法还能用于其他领域的数据。

3.2.1 发起LinkedIn API请求

旧LinkedIn客户端用授权对象创建应用实例,再查询联系人和所选档案字段;把结果落盘可供后续分析复用,但仍需认识字段缺失和查询范围。

授权令牌不等于用户密码关联本项背景,实质主要讲解在对应位置。

空搜索结果不能读取首项关联本项背景,实质主要讲解在对应位置。

请求频率要匹配限额和更新关联本项背景,实质主要讲解在对应位置。

字段扩展不扩展授权关联本项背景,实质主要讲解在对应位置。

原书依据 · 16 处
本地快照分离获取与分析

把已取得的联系人响应保存为JSON,后续分析从文件读取,可避免调试统计代码时反复请求远端。快照代表当次查询和当时可见结果,不是持续更新的全量档案;复用时应保留获取时间、查询范围和来源,识别陈旧与缺页。原书示例中的变量conections_data拼写需要与定义一致,不能照抄认作已经运行。

本地快照分离获取与分析保存独立卡片。

原书依据 · 3 处
请求字段与获得字段分开

字段选择器描述希望接口返回的字段及嵌套层次,例如职位中的公司name、industry、id;选择它可减少多次查询后拼接的工作。它不增加访问许可,也不保证每个对象都有所选字段。返回位置、职位等数据前需检查存在性和形状;只检查最外层location也不证明内部name一定存在。

请求字段与获得字段分开保存独立卡片。

原书依据 · 1 处

3.2.2 下载LinkedIn的联系人并保存为CSV文件

联系人导出CSV给后续csv模块提供输入;本书选Outlook CSV使后面的字段和代码约定一致。

API数据偏差关联本项背景,实质主要讲解在对应位置。

原书依据 · 11 处
导出格式是分析输入契约

CSV是一种表格文本容器,但不同导出选项可能有不同列名、列序和字段内容。原书选择Outlook CSV是为了使后面的读取例子有一致输入;拿到其他来源CSV时应先核对其真实表头和编码,再映射所需字段,不能只凭.csv扩展名认定可直接套用代码。

导出格式是分析输入契约保存独立卡片。

原书依据 · 2 处

3.3 数据聚类速成

聚类需要先统一输入表示,再选择相似度;全体两两比较会产生平方级候选,分桶只能按前提减少实际比较。自由文本变化正是清洗的原因。

聚类探索关联本项背景,实质主要讲解在对应位置。

导出格式是分析输入契约关联本项背景,实质主要讲解在对应位置。

原书依据 · 4 处

标准化统一表示而非抹平差异

标准化把大小写、缩写、后缀等不同写法映射到可比较的表示,使同义记录不因文本差异被分开计数。例如CTO和Chief Technology Officer可在确定语境下归一;这不意味着所有相近字符串都代表同一职位或公司。规则需保留能影响问题的重要区别,最好保留原始值以供检查。

标准化统一表示而非抹平差异保存独立卡片。

原书依据 · 2 处

全体两两比较有平方级候选

对n个对象逐个与其余n−1个比较,会产生n(n−1)次有向比较;对称距离可省去重复对,但候选量仍是O(n²)。这是比较次数随规模的增长量级,不是以秒为单位的运行时间,每次距离计算成本还需另算;也不是所有聚类算法都必须采用完整两两比较。

本节叙述把n²增长写成“指数倍增加”,需区分:n²属于多项式中的平方增长。100个标题的1万次与1万个标题的1亿次比较对应同一平方规律;对称性只节省常数比例,不改变该量级。

文档相似度示例还为每对文档复制权重字典、补词并排序,同时保存全部距离;比较次数之外还包含每对特征处理和矩阵存储成本。索引、候选缩减与稀疏表示需按问题选择,不能仅换成向量就认作可扩展实现。

全体两两比较有平方级候选保存独立卡片。

原书依据 · 3 处

候选分桶需防止漏掉近邻

先用函数把可能相似的项放入桶,再在桶内做精细比较,可以减少不必要的两两计算。但只有近邻能被相应规则放到一起时才不会漏比较,桶过大也可能保留很高成本。原书将此放在降维旁栏讨论;这是候选缩减思路,不等于已实现特征空间投影或任何特定降维算法。

桶内全比较的总工作量是各桶大小平方之和。书中100万个对象均衡放到1000桶,每桶1000项,才得到约10亿次比较;若大多数项挤进少数桶,节省会减弱。随机分桶也可能分开相近对象,合并阶段不能凭空保证找回所有漏配。

候选分桶需防止漏掉近邻保存独立卡片。

原书依据 · 2 处

3.3.1 聚类来提高用户体验

有意义的分组可在树控件里按层级、组大小和成员展示,让用户逐层浏览与过滤。

分组导航须让类别可解释

把聚类结果做成分层树,展示组标签、数量与成员,可帮助用户缩小浏览范围。前提是所用特征和相似度产生了对目标任务有意义的组,而不是树形外观本身使结果可信。书中Scientist节点下列出成员的截图示范展示方式,没有证明任意聚类都能提升停留时长或业务价值。

分组导航须让类别可解释保存独立卡片。

原书依据 · 1 处

3.3.2 标准化数据以便分析

公司、职位、地点各有不同的标准化规则;先核对CSV字段与记录单位,再保留歧义候选。统计地图在区域位置旁编码数量,不能靠外观掩盖解析和聚合错误。

标准化统一表示而非抹平差异关联本项背景,实质主要讲解在对应位置。

地理编码把地点映射为坐标关联本项背景,实质主要讲解在对应位置。

显示名称不能充当唯一键关联本项背景,实质主要讲解在对应位置。

原书依据 · 8 处
表格文本应按字段规则解析

CSV的分隔符和引号共同决定字段边界,带逗号的公司名不应直接按字符串逗号拆开。本书用DictReader按表头形成每行字段映射,再检查Company和Job Title等列;仍需核对真实列名、编码和空值。计数前先确定每行代表一个联系人还是一个职位,不能只因为读出字典就当数据已标准化。

表格文本应按字段规则解析保存独立卡片。

原书依据 · 1 处
替换规则需要限定匹配边界

示例按一组字符串替换移除公司后缀、展开职位缩写,是便于起步的规则,不是语义识别。str.replace会替换所有匹配子串,未自动限定在后缀或完整词上,且前面的变换会影响后面的输入;规则需要明确适用位置和顺序,保留原值以检查误改与同名合并。

职位组合拆分也有边界问题:直接按and子串切分不等于识别独立连词,可能破坏包含该子串的单词。应将拆分规则和职位语境对应,不能只扩大分隔符列表就假定覆盖正确。

替换规则需要限定匹配边界保存独立卡片。

原书依据 · 2 处
参数解包不等于复制语义

调用中的*args把序列项作为位置参数、**kw把映射项作为关键字参数交给函数。示例replace(*transform)把一对旧值/新值拆成两个实参;它没有为每个参数复制对象,也不是把整个二元组当作一个值传入。调用仍受目标函数签名与参数冲突规则约束。

参数解包不等于复制语义保存独立卡片。

原书依据 · 1 处
专家反馈补足归一化规则

通用职位名称的所有别名很难一次穷举,先用规则把数据压缩到可复查的候选,再由领域专家确认分组与纠正映射,可逐步改进下一轮处理。人的确认是质量控制的一环,不代表此前所有自动分组都已正确;应保留原记录和具体判断依据,而非直接抹去差异。

专家反馈补足归一化规则保存独立卡片。

原书依据 · 1 处
拆分字段后仍要筛掉空项

示例先按斜杠拆职位,但过滤条件检查的是原始Job Title,不是拆分后的每个t。像CEO/这类非空原串仍会产生一个空片段;如果要排除空职位,应在每个片段strip后判断。对整体非空的检查不能替代转换后每项都有效。

拆分字段后仍要筛掉空项保存独立卡片。

原书依据 · 1 处
完整名称频率不同于词频

按完整职位计数回答哪些职位写法常见,拆成词后计数则回答哪些组成词常见。Engineer可以分散在多种完整职位中,合计词频很高却不一定属于最常见的完整标题;按斜杠拆出多职位还可能让一个联系人贡献多个标题。解释前需区分记录、标题和词项三个单位。

完整名称频率不同于词频保存独立卡片。

原书依据 · 1 处
地理编码客户端不是地名库

geopy给不同地理编码服务提供Python调用入口,实际地址数据、候选排序、访问规则和返回内容来自具体服务。更换供应商可能改变结果,统一方法名不意味着同样覆盖或费用;书内Bing与其他服务的比较仅当时背景。当前文档也明确geopy本身不是地理编码服务,本轮未发起查询。

地理编码客户端不是地名库保存独立卡片。

原书依据 · 1 处
空候选要按实际契约判断

书中用geo==[]跳过无结果,并按嵌套序列读取候选;不能把旧示例形状当所有geopy版本的契约。当前2.5文档规定无结果为None,exactly_one=False有结果才返回Location列表,服务失败还可能抛异常。迁移时应分别处理无候选、多个候选及服务失败,再选择对象,不只与空列表比较。

空候选要按实际契约判断保存独立卡片。

原书依据 · 1 处
统计地图用面积编码数值

统计地图按某个数据参数缩放区域,使图形大小传达数量,而不是忠实保持实际地理面积。Dorling变体用圆等符号代替区域,在大致地理位置附近编码数量,颜色还可表示另一变量;读图时要查看面积、颜色各代表什么,不能把大圆直接解释为领土大或真实距离远。

统计地图用面积编码数值保存独立卡片。

原书依据 · 1 处
文本模式匹配不证明语义

正则中的[A-Z]{2}能捕获两个连续大写字母,却不能保证它们是有效州缩写;前面的贪婪.*还会先尽量吃进文本,未保证取得注释所称的第一处。应结合明确返回结构和区域代码含义核对,而非因样例匹配成功就认定对所有地址都可靠。

文本模式匹配不证明语义保存独立卡片。

原书依据 · 1 处
缓存地点不能替代人数计数

以地点标签为键保存解析结果,可以复用相同地点的地理编码,却会把同一地点的多个联系人折叠为一个键。要画每州联系人数量,仍应回到每条联系人记录映射州并计数,不能直接把去重后的地点字典当人数样本。书中省略了最后计数代码,这一边界需要在实现时保持。

后续示例把同一地点的联系人频数f保留在缓存中,并给聚类展开f个相同坐标,使地点对均值的贡献反映人数;地图可只显示一个地标。这与每个不同地点只贡献一次的等权聚类是不同问题,不能在去重显示时顺便丢掉权重。

缓存地点不能替代人数计数保存独立卡片。

原书依据 · 2 处

3.3.3 测量相似度

相似度取决于表示与任务:编辑距离量化修改操作,二元组保留局部顺序,Jaccard用集合交并归一化重叠,再转成距离。

共同项目数是相似度基线关联本项背景,实质主要讲解在对应位置。

原书依据 · 2 处
编辑距离衡量最少修改次数

Levenshtein编辑距离是在允许插入、删除和替换字符的规则下,把一个字符串变成另一个所需的最少操作数。dad到bad只需替换首字符一次,所以距离为1;它测的是所选编辑规则的差异,不是语义距离。字符串长短和可允许操作影响解释,不能把缩写与全称仅凭字符差异认作不同职位。

编辑距离衡量最少修改次数保存独立卡片。

原书依据 · 1 处
距离大小不同于计算成本

字符串编辑距离的结果可能很小,但求结果仍需处理许多候选状态。书内讨论长度M和N的常见计算过程约O(MN),这是算法工作量,不是编辑距离值;放入n个名称的全体两两比较时,还要结合候选对数估算总体成本。不要用返回1就推断计算只做一步。

距离大小不同于计算成本保存独立卡片。

原书依据 · 1 处
二元组保留相邻位置关系

n-gram取序列中连续的n项;词二元组是相邻两个词,不是把任意两词做全排列。把Chief Executive Officer与Chief Technology Officer拆词后,内部相邻词对不同;用二元组集合交集打分保留了部分局部顺序,但转集合后会丢失同一二元组的重复次数。

二元组保留相邻位置关系保存独立卡片。

原书依据 · 1 处
边界填充改变相似度特征

在词序列首尾填充边界标记,可让相同开头或结尾也形成可比较的二元组。书中两个三词职位用None填充后,共有(None,Chief)和(Officer,None)两项,因此交集大小为2;这不是两个完整内部词对相同。是否填充会改变特征集合和分数,需和阈值一起说明。

边界填充改变相似度特征保存独立卡片。

原书依据 · 1 处
交并比归一化集合重叠

对并集非空的两个集合,Jaccard相似度为交集大小除以并集大小,距离为1减去相似度:完全相同集合相似度1、距离0,不相交则相似度0、距离1。它只看集合成员,不保留频次或顺序;比较字符串前应明确成员是词、字符还是n-gram。两集合都空时分母为0,需按使用接口明确约定,不能直接套式。

搭配评分中的Jaccard可用相依表同现格a除以a+b+c,其中b/c为只出现一侧的计数。不能把它不加说明地当两个词字符串的字符集合相似度;参与计数的是所定义的共现事件。

交并比归一化集合重叠保存独立卡片。

原书依据 · 2 处

3.3.4 聚类算法

本节对比阈值贪心、层次合并和k-means,并讨论抽样与分桶的成本/质量取舍;地理示例还需要保存频数、处理重试及坐标格式,几何中心不自动成为现实可行地点。

替换规则需要限定匹配边界关联本项背景,实质主要讲解在对应位置。

全体两两比较有平方级候选关联本项背景,实质主要讲解在对应位置。

候选分桶需防止漏掉近邻关联本项背景,实质主要讲解在对应位置。

缓存地点不能替代人数计数关联本项背景,实质主要讲解在对应位置。

原书依据 · 9 处
距离阈值先明确比较方向

示例按Jaccard距离小于0.5接纳职位对,距离越小表示越接近,恰等于阈值不会通过。换成相似度函数时比较方向不能原样照搬;选择阈值也改变分组范围,需要结合已知例子检查,而不是把0.5视为所有特征和距离的通用标准。

距离阈值先明确比较方向保存独立卡片。

原书依据 · 1 处
局部接近不保证一致分区

贪心分组按当前可接受条件作局部决定,不回头寻找全局最优,因而顺序和规则会影响结果。书中代码为每个标题积累近邻、抑制部分反向比较,却没有维护每个标题唯一归属的全局分配;输出可能重叠,也不保证组内任意两项都接近。不能把这种近邻收集直接说成严格互斥分区。

局部接近不保证一致分区保存独立卡片。

原书依据 · 1 处
遍历列表时改成员会漏处理

职位拆分循环一边遍历titles一边remove/extend它,原有元素的位置和待访问范围会随之改变,可能跳过项或重复处理新项。应把待处理列表和输出列表的职责分开,再统一写回;追加后的结果还要复查空项。这里是对示例控制流的静态阅读,没有执行原程序。

遍历列表时改成员会漏处理保存独立卡片。

原书依据 · 1 处
分组标签要解释共同特征

对同一组标题的词集合求交,可以提取所有标题都包含的描述词,作为一种组标签。共同词不一定完整表达组内职责,也可能为空;它解释的是选定表示的共同部分,而不是专家确认的职业分类。若成员分组存在重叠,标签和列表也要允许用户看出这一点。

分组标签要解释共同特征保存独立卡片。

原书依据 · 1 处
固定抽样减少比较也会漏配

每个对象只与固定k个抽样候选比较,比较调用可从约n²缩到约nk,但可能错过没有抽到的近邻。示例用randint重复抽取,有放回,k次不保证k个互异对象,重复与自身比较也可能浪费额度;k接近n时成本又趋向平方。性能改善与匹配质量需共同观察,不能宣称等价结果。

固定抽样减少比较也会漏配保存独立卡片。

原书依据 · 1 处
层次合并记录逐步聚合过程

凝聚式层次聚类从每个对象各成一组开始,按组间距离逐步合并,形成叶子是对象、中间节点是聚合的树。按一定距离水平切树可得到不同粒度分组,区别于只收集某个标题的近邻。距离表示、组间链接方法和并列距离处理都会影响树,不能笼统保证所有层次方法具有同一复杂度或唯一结果。

层次合并记录逐步聚合过程保存独立卡片。

原书依据 · 1 处
链接方法定义组间距离

对象间距离确定后,还要定义两组对象之间如何比较:可取跨组对象对的最小、最大或平均距离等。不同链接方法会改变下一次合并及最终层次,不能把一个对象对很近当作两组所有成员都近。书中只介绍这些选择与方法入口,未展开完整库实现。

链接方法定义组间距离保存独立卡片。

原书依据 · 1 处
均值聚类交替分配与更新

k-means先给定k个中心,再交替把点分给最近中心、以每组均值更新中心,重复至满足收敛或停止条件。k指定想形成的组数,不是算法从数据自动证明的真实类别数;随机初始化和k的选择会影响结果,图3-7的9次只是样例。

结构图:算法流程,不是类之间的关系。

flowchart TD
 A["选定k与初始中心"] --> B["每点分给最近中心"]
 B --> C["按组重新计算均值"]
 C --> D{"满足停止条件?"}
 D -->|否| B
 D -->|是| E["输出分组与中心"]

一次分配约进行nk次中心比较,总成本还乘迭代次数,并受特征维数和实现影响;不能把O(nk)直接当任何情况的整次运行保证。

均值聚类交替分配与更新保存独立卡片。

原书依据 · 1 处
展示布局不会新增聚类层级

树状图和节点连接树可以展示同一分组结构,改变布局只改变观看方式,不会自动产生更深层的聚类。需要表达每层合并距离时,应确保树节点及连线承载了相应含义;书中的两层职位与成员图不能仅因画成树状图,就认作完整层次聚类的全部合并历史。

展示布局不会新增聚类层级保存独立卡片。

原书依据 · 1 处
重试计数应跨尝试保留

书中while True循环内部每次都把num_errors重置为0,遇到异常再加1,因而持续同类失败时永远达不到三次退出条件。计数要属于整次重试过程,不能属于一次尝试;同时还需限定真实接口可能产生的异常。此处静态核对旧urllib2示例,未进行网络重试。

重试计数应跨尝试保留保存独立卡片。

原书依据 · 1 处
循环变量必须对应当前记录

本节已经遍历locations字符串列表,却仍用旧c检查location字段;旧Python2列表推导遗留的c可能指向此前最后一条记录,而不是本轮地点。在Python3里推导变量还不会以同样方式泄漏,可能直接找不到c。验证条件应针对当前处理对象,避免把上一阶段临时变量当当前记录。

循环变量必须对应当前记录保存独立卡片。

原书依据 · 1 处
坐标顺序取决于交换格式

地理编码样例给出纬度、经度,而本书Google Earth/KML输出使用经度、纬度,代码因此显式调换两项。它们都是数对,长度和数值范围检查未必能发现交换错误;应在获取、算法和导出之间明确坐标含义。按区域点聚类也不把数值均值自动解释成适合现实出行的位置。

坐标顺序取决于交换格式保存独立卡片。

原书依据 · 2 处
几何中心不保证现实可行

位置聚类给出的均值可能在海上或跨国区域,不能直接当作会议、住宿或运输的最佳方案。均值只概括所选坐标及权重,现实选址还需要可达地点、交通、国界和参与者限制;书内提出按洲或国家先分段,是约束分析范围的一个思路,不等于已经解决旅行成本优化。

几何中心不保证现实可行保存独立卡片。

原书依据 · 1 处
写出产物不等于顺利收尾

本节代码把KML写入OUT_FILE并关闭文件后,最后的成功提示却引用未定义的OUT,因而可能在产物已经落盘后抛错。遇到这种结果应分别核对文件是否生成及流程是否完整结束,避免仅凭末尾异常断定没有产物,也避免盲目重跑产生重复副作用。这里仅指出原示例变量不一致,未写KML。

写出产物不等于顺利收尾保存独立卡片。

原书依据 · 1 处

3.4 本章小结

本章把标准化、相似度和聚类效率联系起来;频率分析也能回答部分问题,并非所有数据都要聚类。

3.5 推荐练习

练习建议换数据、换相似度或换地理展示格式,观察分析问题如何随输入与表示改变。

3.6 在线资源

本节提供地理编码、聚类、字段查询和展示的资源链接,用于回顾及进一步探索。

第4章 挖掘Google+:计算文档相似度、提取搭配等

本章从短文本计数和档案聚类转向文档检索与词组提取,用历史Google+文本作数据源。

4.1 概述

本章路线是获取并清洗文本,再用TF-IDF与余弦进行检索,之后识别搭配。

4.2 探索Google+API

旧Google+把用户、动态、评论和应用交互分成不同资源;分析要选定对象与关系,而非只比较平台功能名称。

定向关注不同于双向好友关联本项背景,实质主要讲解在对应位置。

原书依据 · 2 处

内容记录不同于交互记录

本书旧Google+模型中,People表示用户,Activities记录发布或分享等行为内容,Comments表示围绕内容的评论,Moments记录用户与应用的交互。它们不是同一层级的纯文本列表:一次分享、被分享的内容和后续评论可以分别分析,需说明计数对象及关联键。平台定义是历史示例,不能直接用作当前API接口表。

内容记录不同于交互记录保存独立卡片。

原书依据 · 1 处

4.2.1 发起Google+API请求

客户端先创建服务和请求,再执行并解释结构化响应;搜索结果须消歧,文本需要按标记与实体清洗,分页请求和保留数量也分别受条件约束。

显示名称不能充当唯一键关联本项背景,实质主要讲解在对应位置。

对象字段与关联入口分开关联本项背景,实质主要讲解在对应位置。

空搜索结果不能读取首项关联本项背景,实质主要讲解在对应位置。

本地快照分离获取与分析关联本项背景,实质主要讲解在对应位置。

原书依据 · 16 处
旧接口关闭仍可学习方法

书中Google+请求展示服务构造、执行、分页和文本清洗这些方法,但不能照旧端点开展当前实践。Google官方关闭说明明确旧Google+ API于2019年3月7日停止,少量登录兼容接口也不是恢复本章社交动态采集。实践可保留分析思想并另选明确授权的有效输入,不把书中示例称为已运行成功。

旧接口关闭仍可学习方法保存独立卡片。

原书依据 · 1 处
API密钥不等于用户授权

书内控制台区分简单API访问密钥与代表用户访问数据的OAuth凭证。密钥通常用于识别调用应用或项目,不能据此断言用户已经允许读取其私有资料;是否需要用户授权取决于所请求资源与接口。示例使用public动态,不能把developerKey等同于获得所有账号数据。

API密钥不等于用户授权保存独立卡片。

原书依据 · 1 处
构造请求不同于执行请求

本章Python客户端用服务入口构造请求对象,调用execute后才取得该次响应。分页list_next还需要上一请求与响应来构造下一请求;不能把请求对象当成已经下载的列表,也不能以创建service成功证明远端认证或业务查询成功。该解释来自书内调用顺序,未声称读完客户端实现。

构造请求不同于执行请求保存独立卡片。

原书依据 · 1 处
搜索候选要核对实体身份

人物搜索返回的是候选账号,名字相同不证明身份相同。把ID、资料和图像并排展示可以辅助人工核对,但头像相似或排序靠前都不是确定身份的证明;仍需结合可验证语境,保留不确定性。不能仅从一张头像把账号自动合并为现实个人。

搜索候选要核对实体身份保存独立卡片。

原书依据 · 1 处
活动记录分离主体动作对象

活动三元组用actor说明谁执行、verb说明做了什么、object说明涉及什么内容。本书(Tim,post,note)例表示某人发布文本记录;分享计数、回复计数、发布时间等是另外的元数据,不能和内容作者或动作本身混为一个字段。关注哪个人、哪次行为或哪份内容会改变统计单位。

活动记录分离主体动作对象保存独立卡片。

原书依据 · 1 处
文本清洗区分标记和实体

HTML标签规定结构,实体编码代表字符;把去掉与把'还原为单引号是两类处理。清洗需保留必要的文本分隔并检查最终完整文本,不能假定去标签就等于没有其他噪声。原示例用旧NLTK clean_html和BeautifulStoneSoup;当前NLTK同名方法直接抛NotImplementedError,需按实际解析库重新设计,未运行旧代码。

文本清洗区分标记和实体保存独立卡片。

原书依据 · 2 处
取首个文本节点可能丢内容

示例清洗函数仅在输入为空串时返回空,否则读取解析结果的contents[0]。非空标记串清洗后仍可能没有节点,也可能存在多个节点;首节点不等于完整文本。需要在去标记后重新检查空结果,并按目标提取完整内容,而不能用原串非空担保下标安全。

取首个文本节点可能丢内容保存独立卡片。

原书依据 · 1 处
批次上限不等于精确保留数

分页循环在一页开始前检查累计结果少于上限,随后却把本页全部合格条目追加,因此最终可能超过MAX_RESULTS。比如已有150条且下一页再保留100条,循环结束会有250条;若只取200条,就需在追加或收尾明确截断。另一方面过滤掉非note或空内容后,读取多页也不一定达到目标数量。

twitter_search先获取100条,再在续页追加后用严格大于检查max_results,返回时也没有切片;请求10条不保证只返回10,注释10×100还没算最初一批。需区分请求次数上限、目标条数与实际保留数。

批次上限不等于精确保留数保存独立卡片。

原书依据 · 3 处

4.3 TF-IDF简介

TF-IDF把文档内词频与语料库中词的区分程度相乘,给检索提供词项权重;文本处理和检索相关性不是同一层次的任务。

词项权重结合局部与全局

TF-IDF把词在某文档中的TF与它在语料库中的IDF相乘:局部频率提供文档内证据,全局分布调整其区分能力。它是词项权重,不是天然的0到1概率,也不直接理解句意;具体值取决于切词、TF归一化和IDF变体,需与检索评分方法一起说明。

词项权重结合局部与全局保存独立卡片。

原书依据 · 1 处

4.3.1 词频

用词数归一化会改变只按出现次数得到的排名;无序词项加权也会丢失短语顺序,并受停用词及标点处理影响。

词袋保留频次而舍弃语序关联本项背景,实质主要讲解在对应位置。

原书依据 · 2 处
归一化词频要说明分母

归一化TF可用某词在文档中的次数除以文档总词数,因而2/19略小于1/9:出现两次的长文档不一定比出现一次的短文档权重高。分母是按同一切词规则得到的词次,不是互异词数;空文档需另作约定,不能除以零。原始次数与归一化版本是两种口径。

归一化词频要说明分母保存独立卡片。

原书依据 · 1 处
高频词不一定有区分力

停用词是频繁出现而在某任务中携带很少区分信息的词,常见英文例子有the等限定词;一份通用名单不保证覆盖具体领域。只加总词频可能让这类词压过主题词,需要按问题选择过滤或全局权重。高频不是普遍无用,不能脱离任务删去所有常见词。

实体分析例子补充了另一边界:人名、地点和组织即使仅出现一次,也可能是文档的关键对象。因此摘要词频、实体候选和主题特征不应完全使用同一删词规则。

高频词不一定有区分力保存独立卡片。

原书依据 · 4 处

4.3.2 逆文档频率

IDF按包含词的文档数而非总词次计算:跨文档越常见的词,通常越难区分文档;对数压缩比例的变化范围。

高频词不一定有区分力关联本项背景,实质主要讲解在对应位置。

原书依据 · 4 处
逆文档频率取决于文档覆盖

设语料库有N篇文档,df(t)是至少包含词t的文档篇数,常见未平滑IDF为log(N/df(t))。一个词在一篇里出现很多次,df仍只加1;出现在所有文档时该式为0,较罕见的词通常更大。对数压缩数值跨度,整个语料库的边界和更新会改变词权重;df为0需由实现明确处理。

逆文档频率取决于文档覆盖保存独立卡片。

原书依据 · 1 处

4.3.3 TF-IDF

示例按查询词累加TF-IDF,并展示加1的IDF变体如何改变常见词贡献;公式、空输入和输出顺序均需要按代码解释。

按字段排序需明确提取位置关联本项背景,实质主要讲解在对应位置。

原书依据 · 3 处
权重平移会改变词项贡献

本书IDF用1+log(N/df),使出现在所有文档的词仍有IDF=1;未平移版本则为0。加1会改变各查询词对总分的相对贡献,不只是打印格式。它是权重设计的选择,不是为了避免两个小于1的正数相乘就必须做的数学修复;归一化TF非负,原代码注释写成小于0有误。

权重平移会改变词项贡献保存独立卡片。

原书依据 · 1 处
词项评分不自动消除语料偏差

小样本里the只出现在文档a,IDF反而较高,所以查询the green plant的TF-IDF累加仍让a超过b;这不证明a在语义上更相关。权重反映当前语料的分布,不保证词的语言学重要性或解决停用词、上下文和短语问题,应结合样本范围作定性检查。

词项评分不自动消除语料偏差保存独立卡片。

原书依据 · 1 处
缺词与空文档要分别处理

示例对IDF的df=0除零返回1,并不同时处理TF里空文档长度为0的问题;语料库本身为空也有不同边界。一个位置的异常分支不能担保整个评分函数对所有空输入都有效。缺词的TF通常为0,仍应明确查询缺词、空文本和空语料各自约定,而非用同一个默认权重掩盖。

缺词与空文档要分别处理保存独立卡片。

原书依据 · 1 处

4.4 用TF-IDF查询人类语言数据

这一节把前面的检索权重应用到已取得文本,随后介绍工具接口和相似文档检索。

4.4.1 自然语言工具包概述

NLTK交互探索用上下文、搭配、词频和词表帮助看清语料;必须分清打印输出、可用返回值以及词次、词型和稀有词。

空白切词不同于语言分词关联本项背景,实质主要讲解在对应位置。

词频直方图数的是词型关联本项背景,实质主要讲解在对应位置。

原书依据 · 7 处
上下文检索补足孤立词频

concordance把目标词的出现位置与左右上下文并排呈现,有助于检查高频词实际怎样使用;频次本身不能给出这些用法。书内接口用于交互展示,当前NLTK还提供concordance_list返回结果列表,调用前应区分打印方法与数据接口,不把终端可见内容当变量里已有可复用结果。

上下文检索补足孤立词频保存独立卡片。

原书依据 · 1 处
词型数量不等于稀有词数

len(tokens)数全部词次,len(fdist.keys())数互异词型,不能按示例注释说成罕见单词数量。找低频词需要查看每个词的实际次数并定义低频阈值;同样,按http开头筛词表得到的是这类互异词型数,不是所有URL出现次数或已核验的有效URL数。

后续示例使用hapaxes()取得恰出现一次的词型;它与len(fdist.keys())的全部互异词型数不同。若需要前十高频词,应确认排序依据而不是直接取任意items的前十。

词型数量不等于稀有词数保存独立卡片。

原书依据 · 2 处
排名频次可近似呈反比

Zipf经验规律描述在足够有代表性的自然语言语料中,词频随排名大致按反比衰减,少数常见词很高、许多词很低。双对数图接近负斜率直线是可观察形态,不是每个小样本每一名都严格等于N/r;词型多集中在低频尾部,也不意味着尾部必占总词次多数。用于估算时要说明语料和近似假设。

排名频次可近似呈反比保存独立卡片。

原书依据 · 1 处

4.4.2 对人类语言使用TF-IDF

TextCollection提供TF/IDF计算,检索需保持每份清洗文本与原元数据一一对应,累加后按分数排序,再定性判断相关性。

文本集合封装分项词权重

本书用TextCollection对文档集合计算tf、idf、tf_idf,减少重复实现;仍要输入一致切词的文档,并明确库采用的公式。当前NLTK 3.9.2所选源码显示TextCollection继承Text,保存文档集合和IDF缓存;idf使用未加1的log(N/df),与本书手写版不同。

结构图:已读当前类的真实继承及相关方法,非全库架构。

classDiagram
 Text <|-- TextCollection
 class Text {
  __init__(self, tokens, name=None)
  vocab(self)
 }
 class TextCollection {
  __init__(self, source)
  tf(self, term, text)
  idf(self, term)
  tf_idf(self, term, text)
 }

tf_idf返回tf与idf的乘积,不能据同名方法假定跨实现数值完全一致;当前源码对空语料的IDF抛错、未命中词返回0。

文本集合封装分项词权重保存独立卡片。

原书依据 · 1 处
过滤文本需同步保留记录身份

示例activities先跳过空内容,再用其下标idx取原始data的标题与URL;一旦原始列表中有被跳过的条目,两边位置会错开,得分可能配上另一篇的元数据。应在筛选时把文本与原记录一起保留,或保存稳定ID/原下标,不把过滤后的第n项当原始第n项。

过滤文本需同步保留记录身份保存独立卡片。

原书依据 · 1 处
相关性分数需在同一口径比较

检索评分用于在指定查询、语料与预处理下比较候选文档,绝对值通常不是可独立解释的置信度。改变词干、分词、IDF公式或语料范围,数值及排序都可能改变;需用可解释查询与文档检查效果,不能仅因一个分数大于0就声称语义相关。

相关性分数需在同一口径比较保存独立卡片。

原书依据 · 2 处

4.4.3 寻找相似文档

文档向量在共同词表下保存权重,余弦比较方向并转换为距离;全体比较的成本、零向量与无近邻结果必须显式处理,矩阵展示还受行列顺序影响。

全体两两比较有平方级候选关联本项背景,实质主要讲解在对应位置。

原书依据 · 3 处
文本相似度

文本相似度先把文档转成共同特征空间里的向量,再用选定度量比较。例如把词项TF-IDF放在固定维度上,余弦比较向量方向,可用于找相近文档或把查询当向量检索。相近只表示当前特征与权重下的接近,不保证语义、立场或主题完全相同;分词、停用词、语料边界及权重都会改变结论。

文本相似度保存独立卡片。

原书依据 · 2 处
向量比较须对齐维度含义

两个文本向量不仅长度要相同,每个位置还必须代表同一个词。取两文档词表的并集,给缺词补0,再按相同词序排列,才可做点积;一个向量的第三项是C、另一个第三项是E时,直接相乘没有所需词项含义。统一词表和映射应贯穿生成、查询与比较。

向量比较须对齐维度含义保存独立卡片。

原书依据 · 1 处
余弦相似度比较向量方向

对两个非零向量u、v,余弦相似度为点积除以两个向量长度之积,也等于其单位向量点积。同向为1、正交为0,它减弱整体幅度对比较的影响,但不等于原始欧氏距离近;非负词权重下取值在0到1,一般允许负分量的向量可出现负相似度。零向量没有可按此式归一化的方向。

余弦相似度比较向量方向保存独立卡片。

原书依据 · 1 处
距离接口不能当相似度接口

NLTK cosine_distance实际返回1减余弦相似度,所以越小越接近;本书正文称其计算相似度不够准确,代码找min_dist并最终打印1-min_dist才体现转换。不能把该返回值直接按越大越相似排序,替换度量时也需重新确认含义和范围。当前所选源码已核对这一公式,未执行。

距离接口不能当相似度接口保存独立卡片。

原书依据 · 1 处
零权重向量需要独立处置

短小语料或过滤规则可能使一篇文本所有词项权重都为0,例如未平移IDF下所有词都覆盖全部文档。这样的向量不能用非零范数作余弦分母,即使原文非空也一样;应先检查向量和所选库行为,再按任务定义缺乏可比较特征的结果,不能把非空字符串当作余弦必有效的保证。

零权重向量需要独立处置保存独立卡片。

原书依据 · 1 处
过滤阈值须对应计量单位

示例注释说只考虑1000个单词以上的内容,实际len作用于content字符串,检查的是字符串长度而不是split后的词数。字符数、字节数和词数是不同单位;阈值的对象要与分析目标一致,不能只看注释就判断进入语料的文档长度条件。

订阅示例的获取日志用len(fp.entries[0].title)打印条目数量,实际数的是首条标题长度,还要求至少有一条;日志标签不能改变所计算的对象。

过滤阈值须对应计量单位保存独立卡片。

原书依据 · 2 处
没有近邻时应明确返回结果

示例将最近距离初值设为1,只有严格小于1才替换候选。若没有其他文档、所有其他距离都等于1,或比较值无效,就会留下空标题/URL而不是一个真实近邻。应区分无候选与找到候选的业务结果,不能把默认空串及1-min_dist打印成已经匹配成功。

没有近邻时应明确返回结果保存独立卡片。

原书依据 · 1 处
矩阵排序影响可见模式

相似度矩阵用行列表示文档、格子表示它们的联系或强度,可避免节点边布局中的连线遮盖。重新排列行列会改变块状模式是否显眼,却不改变原始相似度;需说明排序依据与阈值,不能把视觉块直接当已验证类别。书中图4-6展示的是文档间联系,不是词语本身的关系图。

矩阵排序影响可见模式保存独立卡片。

原书依据 · 1 处

4.4.4 分析人类语言中的二元文法

搭配分析关注有意义的共同出现,而非只数孤立词;用n-gram、频率过滤、相依表和不同评分排序候选,还要检查低频噪声及统计假设。

交并比归一化集合重叠关联本项背景,实质主要讲解在对应位置。

原书依据 · 2 处
搭配候选不同于已确认短语

高频词open、source、government各自出现,不能确定文本讲open source还是open government。观察连续词组合及其共现强度可提出搭配候选,为主题发现提供更多上下文;高分仍不是语义确认,也不自动完成专有名词识别,需回读实际用例和噪声。

搭配候选不同于已确认短语保存独立卡片。

原书依据 · 1 处
连续片段数量由窗口宽度决定

长度T的词序列不做填充时,连续n-gram的数量为max(T−n+1,0),每项有n个位置。因此1000词有999个二元组、998个三元组;原文泛写(T−1)×n只适用于二元组数量的特例。存储是否近似n倍还取决于保存字符串、引用、计数或压缩结构,8KB不能当所有语言和实现的固定大小。

连续片段数量由窗口宽度决定保存独立卡片。

原书依据 · 1 处
先过滤低频再比较搭配

示例先统计二元组,再去掉少于两次的候选和含停用词的候选,之后按评分取前N名。频率门槛控制偶然罕见组合,评分调整共现相对强度,两者职责不同;提高门槛也可能丢掉有价值的低频术语。不能把得分高或进入前25就称为已证实概念。

先过滤低频再比较搭配保存独立卡片。

原书依据 · 1 处
合并文档会产生跨边界词对

示例把各动态的词直接串成一条序列后取二元组,前一篇末词和后一篇首词也会成为相邻候选。若目标是篇内语言搭配,这种边界组合是人为产物;应按文档或句子统计并合并计数,或明确标记边界,而不是把数组相邻自动当语言相邻。

合并文档会产生跨边界词对保存独立卡片。

原书依据 · 1 处
相依表先定义计数事件

二元搭配的2×2相依表把第一位置是否为w1、第二位置是否为w2组合成四格:两者同现、仅前者、仅后者、两者皆否。行列和是边缘频数,总和是同一观察空间的总数;知道同现和边缘频数可推算其余格。频数本身不是概率,也不是条件概率,必须按相应分母归一化;边界与窗口改变时不能随意混用不同口径的词次。

相依表先定义计数事件保存独立卡片。

原书依据 · 1 处
重叠系数不等于固定倍数

Dice为2|A∩B|/(|A|+|B|),与Jaccard J的关系是D=2J/(1+J),而不是恒等于2J。二者在同一有效计数口径下单调对应,因此给同一组集合对排序可相同,数值阈值却不能直接照搬。书中图给出了正确关系,正文“权重两倍”应按分母变化理解。

重叠系数不等于固定倍数保存独立卡片。

原书依据 · 1 处
正态覆盖率有分布前提

对正态分布,均值附近一个、两个、三个标准差的区间约覆盖68%、95%、99.7%的概率。这个规则要求分布可以近似为正态,不能因有均值和标准差就套用于偏斜或长尾词频;图中的钟形和左右对称是模型性质,不是对任意语料的事实。

正态覆盖率有分布前提保存独立卡片。

原书依据 · 1 处
搭配频率与关联强度分开

原始相对频率描述某个n-gram占所定义总观察数的比率,回答出现得多不多;关联评分还考虑组成词各自多常见,回答共现是否超出基线。两者可产生不同排序,常见组合未必有很强专属性,低频高分也需检查稳定性。分母要按具体实现说明,不能把总词次与二元组窗口数无条件混用。

搭配频率与关联强度分开保存独立卡片。

原书依据 · 1 处
词对偏差分数不是显著性概率

搭配t-score用观测共现相对独立性基线的偏离及规模进行评分,以区别仅看原始共现次数。它不是词对“为真搭配”的概率;将其作排序统计量与作正式假设检验是不同用法,后者需要说明假设与样本条件。不能只因函数名字包含t就推定任何词频样本都满足正态前提。

词对偏差分数不是显著性概率保存独立卡片。

原书依据 · 1 处
独立性评分仍需检验前提

卡方类搭配评分比较相依表的观测计数与独立性下预期计数,衡量偏离程度。它不要求把原始词频直接当正态变量,但也不能由此断言对所有稀疏、相关或经过筛选的样本都适用;评分值不等于p值,更不能仅按排名认定统计显著。书中将卡方与t检验近似并列,不表示两者假设完全相同。

独立性评分仍需检验前提保存独立卡片。

原书依据 · 1 处
似然比较衡量模型相对解释

搭配的似然比方法比较独立与允许关联等不同模型对观测计数的解释,提供不同于仅看频次的排序依据。本书将其作为稀疏词对的候选方法;这不是对所有语料必胜的保证,模型、计数口径与验证任务仍需明确。高分说明相对模型证据,并不证明词组意义或因果关系。

似然比较衡量模型相对解释保存独立卡片。

原书依据 · 1 处
互信息高分可能来自稀有词对

PMI把实际共同出现概率与独立时两者边缘概率乘积作比较,通常取对数,衡量特定词对相对独立基线的关联。稀有词偶然共同出现可有很高比值,因此需结合最小频数和样本稳定性检查;这不等于PMI只适合“独立而非相关”,它本来就衡量对独立性的偏离,也不是两个变量整体互信息的同义名称。

互信息高分可能来自稀有词对保存独立卡片。

原书依据 · 1 处

4.4.5 分析人类语言数据的反思

词袋与当前权重会丢失语序、词义和大小写线索,分词留下标点也会改变计数;相似度的误差会沿处理链传递。

空白切词不同于语言分词关联本项背景,实质主要讲解在对应位置。

文本相似度关联本项背景,实质主要讲解在对应位置。

原书依据 · 6 处
规范化也可能删掉语义线索

统一大小写有助于合并同词写法,但也可能丢掉名字与普通形容词等线索;同拼写词的不同词义还依赖上下文。应保存原始文本,按任务选择规范化与特征,不能把“更干净”理解为一律删去大小写、标点和局部顺序。

规范化也可能删掉语义线索保存独立卡片。

原书依据 · 2 处

4.5 本章小结

本章由数据清洗过渡到词权重、向量比较与搭配,指出基础方法的能力与上下文限制。

4.6 推荐练习

练习建议可视化词频、对比度量和改善矩阵交互,帮助把特征选择与数据呈现联系起来。

4.7 在线资源

本节列出统计、语料、客户端、检索教材及展示工具等复习入口。

第5章 挖掘网页:使用自然语言处理理解人类语言、总结博客内容等

本章以网页和订阅为文本输入,尝试在词袋之外利用句法与上下文线索。

规范化也可能删掉语义线索关联本项背景,实质主要讲解在对应位置。

原书依据 · 2 处

5.1 概述

本章路线为获取网页/订阅、建立NLP流程、摘要与预测质量度量。

5.2 抓取、解析、爬取网页

获取网页、提取正文与跟随链接是不同任务;订阅可减少网页样板,但仍需核验字段和时间覆盖。HTML容错、XML良构及模式验证也不能混为一谈。

去除标记不等于提取正文

导航、页眉、广告与页脚即使去掉HTML标签,文本仍会留在结果里。正文提取需要判断哪些文本块属于目标文章,不能只做去标记。书内boilerpipe提供不同提取器,仍可能需要后处理;选择ArticleExtractor不是对所有网页都提取完整准确的保证。

去除标记不等于提取正文保存独立卡片。

原书依据 · 1 处

代表性样本决定模型适用范围

监督学习用带目标信息的代表性样本建立预测规则,正文与样板分离就是本书举的应用。模型能否适用于新站点,取决于页面结构及样本是否覆盖目标情形;更换提取器或定制训练需要检查实际输出,不以库名称代替准确度证据。本节没有给出完整训练过程。

代表性样本决定模型适用范围保存独立卡片。

原书依据 · 1 处

订阅提供结构不保证历史全量

RSS/Atom把条目标题、链接与内容等组织为可解析结构,可减少网页导航噪声。但订阅常只保留近期条目,也可能只有摘要;获取订阅不能直接声称取得网站全部文章或完整历史。分析前应核对时间范围和所需正文是否真的包含在每个条目里。

订阅提供结构不保证历史全量保存独立卡片。

原书依据 · 1 处

良构格式与内容有效性分开

XML良构要求标签嵌套、闭合等语法符合规则;符合某个模式还需额外验证结构与约束。能解析不等于符合目标数据模式,更不等于内容语义正确。XHTML以XML形式表达HTML,容错HTML解析器则可能接受不规范页面;应按实际输入选择解析策略,不能把作者当时对HTML5的期待当现行标准现状。

良构格式与内容有效性分开保存独立卡片。

原书依据 · 1 处

订阅字段要按条目核验

书中直接取第一个链接和第一个content节点,依赖每个条目都有相应字段且该链接就是目标文章。解析器提供统一访问方式不保证每份订阅满足这些假设;应区分缺字段、摘要与正文、不同链接关系,并在转换后核对完整内容。不能把可解析XML当每个下标都安全。

订阅字段要按条目核验保存独立卡片。

原书依据 · 1 处

5.2.1 网页爬取中的广度优先搜索

BFS以队列逐层处理页面邻居,深度和去重限定遍历;分支增长与网络I/O分别影响资源消耗和实际耗时。

队列驱动逐层图遍历

广度优先搜索从根节点入队,反复取队首并把尚未发现的邻居放到队尾,因而先处理较浅层,再处理更深层。网页爬取将页面视为节点、超链接视为边;深度、范围或目标条件决定何时停止,遍历顺序本身不会保证爬完无限网络。

结构图:算法流程。

flowchart TD
 A["根节点标记发现并入队"] --> B{"队列非空且未越界?"}
 B -->|是| C["取队首并处理"]
 C --> D["检查各邻居与停止边界"]
 D --> E["未发现邻居标记并入队"]
 E --> B
 B -->|否| F["结束并记录范围"]

队列驱动逐层图遍历保存独立卡片。

原书依据 · 2 处
发现与处理是两种遍历状态

只在节点处理完后标记,可能让多个已访问页面把同一个尚在队列里的邻居重复入队。应区分尚未发现、已发现待处理和已处理,通常在入队时标记已发现;原书伪代码的processed需要落实为明确状态,不能只按字面省略去重。

发现与处理是两种遍历状态保存独立卡片。

原书依据 · 1 处
分支深度共同决定遍历规模

无重复的完整b叉展开到深度d,节点总数为1+b+…+b^d;b>1时其增长量级为O(b^d),不是b乘d。b=5、d=2共有31点,表5-1与图线展示深度增加的快速增长;有限已知图在去重遍历下则可按节点和边规模分析,不能把树式展开估计混称所有图的精确节点数。

分支深度共同决定遍历规模保存独立卡片。

原书依据 · 2 处
等待外部结果可能主导耗时

爬取的实际耗时可能主要来自等待页面请求返回,而不是本地遍历运算;有界并发可以覆盖一部分等待时间,但不减少要访问的节点总数。要分别观察网络、解析和算法成本,并保留范围、并发与失败处理边界,不能把线程数增加当作解决分支爆炸的证明。

等待外部结果可能主导耗时保存独立卡片。

原书依据 · 1 处

5.3 通过解码语法来探索语义

语言结构可以帮助分析,但词义仍依赖上下文;简单按句号拆分会把缩写内部误当句界。

句界依赖缩写与语境

句号既可结束句子,也可出现在Mr.等缩写里,盲目按它拆分会产生不完整句片与末尾空串。句界识别需结合缩写、相邻词、大小写和目标语言约定;针对几条英语样例的规则不能自然推广到推文、混合语言或非规范文本,应按目标文本检查错误。

句界依赖缩写与语境保存独立卡片。

原书依据 · 1 处

识别句法不等于理解语义

分句、词性和结构分析提供解释语言的线索,但即使结构识别正确,也可能缺少理解讽刺或歧义所需的句外语境。把句法标签或高相似分数当成已经掌握作者意图,会越过模型证据;NLP流程应区分结构预测与意义判断,不以样例成功推定普遍理解。

识别句法不等于理解语义保存独立卡片。

原书依据 · 1 处

5.3.1 逐步讲解自然语言处理

NLP流程逐步把字符串变成句子、词、词性和实体候选;各步输出都是可检验的预测,命名实体类型错误不会因画成树而消失。

语言分析逐步增加结构线索

本书教学流程先断句,再切词、标词性、把相关词组成块,最后给块标记命名实体类型。每一步依赖上一步的边界与表示,但分词不等于词性标注,名词块也不等于已确定的人名或组织。

结构图:本书流程示意,不是NLTK代码类图。

flowchart LR
 A["原始字符串"] --> B["句子"]
 B --> C["词项序列"]
 C --> D["词项与词性标签"]
 D --> E["复合块"]
 E --> F["实体类型候选"]

流程可按任务只采用前几步,不能认为最后一步自动保证语义正确。

语言分析逐步增加结构线索保存独立卡片。

原书依据 · 1 处
词性标签需按标注体系解释

词性标注给上下文中的词分配语法标签。Penn Treebank体系里NNP表示单数专有名词,VBD表示过去时动词,JJ表示形容词;NNP并不只是泛指任何名词短语成员。具体模型的fellow/JJ等输出可能出错,不能把打印标签当金标准,比较结果前需确认标签集和语境。

词性标签需按标注体系解释保存独立卡片。

原书依据 · 1 处
词块与命名实体是不同层次

分块把相邻词按结构组合成逻辑单位;命名实体识别再尝试把片段分类为人、组织、地点等。包含专有名词的块不保证是组织,也不保证一个真实名字一定被合为单块;统计搭配与按语法分块又是不同途径,不能只因词常一起出现就得到确定实体类型。

词块与命名实体是不同层次保存独立卡片。

原书依据 · 2 处
实体预测要检查边界和类型

原样例把Colonel Mustard标为ORGANIZATION,是明显的类型错误;Mr.与Green还分成两个PERSON块,第二句Green又标为组织。应同时检查识别边界与类别,不能按正文概括认作已经完整识别Mr.Green一个人名。图形树只是帮助查看预测,没有提供独立正确性证明。

实体预测要检查边界和类型保存独立卡片。

原书依据 · 1 处

5.3.2 人类语言数据的句子检测

从订阅生成文本快照后,可用语言适配的句界与分词工具统计词次、词型和单现词;训练分布和前级错误影响整条流程。

词型数量不等于稀有词数关联本项背景,实质主要讲解在对应位置。

过滤阈值须对应计量单位关联本项背景,实质主要讲解在对应位置。

文本清洗区分标记和实体关联本项背景,实质主要讲解在对应位置。

原书依据 · 6 处
句界模型可从未标注文本学习

本书介绍Punkt从缩写、大写及共同出现等文本规律估计句界参数,不要求逐句人工标注训练样例。这说明无监督训练如何利用文本自身结构,不表示对所有语言或领域零误差;应用到新类型资料时仍需检查缩写和边界,必要时按代表性文本调整。

句界模型可从未标注文本学习保存独立卡片。

原书依据 · 1 处
分词约定影响后续语法特征

Treebank式分词会把部分缩略/所有格拆出成分,便于后续语法分析,并不等于简单按空格拆词。拆分保留哪些符号、怎样处理URL,会影响词频与词性输入;应按任务确认分词约定,不能把书内I与m的简写当所有版本的精确输出或默认去掉所有标点。

分词约定影响后续语法特征保存独立卡片。

原书依据 · 1 处
前级边界错误会继续传播

若句界模型把Mr.后的点误作句末,下游可能再也看不到同一句中的Mr.Green整体,分词和实体识别会受影响。评估整条NLP链不能只看最后一个模块,也要保留原文与各阶段结果来定位误差;后级并不会自动修复前级已经丢失的上下文。

前级边界错误会继续传播保存独立卡片。

原书依据 · 1 处

5.3.3 文档摘要

摘要示例用常见重要词在句内的密集程度给句子打分,再按排名或统计阈值选择原句;实现必须正确收集位置、返回最高聚类得分并保留来源顺序。

高频词不一定有区分力关联本项背景,实质主要讲解在对应位置。

按字段排序需明确提取位置关联本项背景,实质主要讲解在对应位置。

原书依据 · 7 处
抽取摘要保留原句而非生成

本章Luhn式摘要从原文挑选句子,依据是过滤停用词后的重要词在句中的频率与局部聚集程度。它把原句组成较短文本,没有重新理解并改写内容;即使摘要读起来合理,也可能丢掉衔接、限定和重要低频信息,需要与全文对照检查。

抽取摘要保留原句而非生成保存独立卡片。

原书依据 · 2 处
重要词密度用于句内评分

示例先把相距小于阈值的重要词位置连成片段,再用片段中重要词数的平方除以首尾跨度内总词数,句子取各片段最高分。教学例四个重要词分布在五词跨度里,分数为16/5=3.2,孤立词片段为1;这些是启发式权重,不是句子真实重要性的概率。

重要词密度用于句内评分保存独立卡片。

原书依据 · 1 处
最高中间值必须写入最终结果

代码维护max_cluster_score,却在句末追加最后一次循环的score,因此多个片段时实际保留末片段分数而不是最高值。原文3.2与1的例子按说明应返回3.2,按这段追加语句会留下1。计算出正确中间值不等于返回值正确,需核对最终保存的是职责要求的聚合结果。

最高中间值必须写入最终结果保存独立卡片。

原书依据 · 2 处
首次出现位置不代表全部出现

示例对每个重要词调用一次s.index,只取得它在句中的首个位置;同一个词后续重复出现不会再进入聚类。若评分目标包含所有重要词出现,应遍历词位置并检查成员,而不是遍历词型各找首项。首现采样与全部词次是两种不同口径,会改变片段边界和密度。

首次出现位置不代表全部出现保存独立卡片。

原书依据 · 2 处
排名选句后恢复原文顺序

抽取摘要可先按得分取最高N句,再按原始句子下标排序输出,使阅读顺序跟随原文。原书“前N句”在这里指排名前N而不是开头N句;N约束的是句数,不是词数,五个长句仍可能很长。选择规则与呈现顺序要分开。

排名选句后恢复原文顺序保存独立卡片。

原书依据 · 2 处
统计阈值不能保证摘要长度

以高于均值加半个标准差选句,会随得分分布改变返回数量,不像Top N有句数上限。无得分句或所有得分相同需要明确定义结果,严格大于阈值也可能一条不选;这条启发式不是假设检验,不因使用标准差就有显著性或覆盖率保证。

统计阈值不能保证摘要长度保存独立卡片。

原书依据 · 2 处
高亮核查应保留文本位置

在全文中高亮入选句有助于检查摘要覆盖和遗漏,但按字符串replace会替换所有同样文本,不能区分重复句的具体位置,还可能受先前插入标记影响。更可靠的核查单位是原始句子及位置,展示前还应正确处理HTML文本转义;高亮本身不是内容准确的证明。

高亮核查应保留文本位置保存独立卡片。

原书依据 · 2 处

5.4 以实体为中心的分析:范式转换

实体视角把识别出的名字或名词块作为索引入口;候选片段仍需收束、标记及消歧,实体列表不能直接替代文档大意。

词块与命名实体是不同层次关联本项背景,实质主要讲解在对应位置。

实体解析区分记录与实体关联本项背景,实质主要讲解在对应位置。

高频词不一定有区分力关联本项背景,实质主要讲解在对应位置。

原书依据 · 9 处

实体视角补充文档检索

文档检索围绕相关文本,实体视角则围绕人、地点、组织或对象组织信息,可辅助标签建议和快速浏览。本章用名词块作实体候选是起点,不等于每个名词都是唯一现实实体;抽出一个名字、判断其类型与跨文档确定同一对象仍是不同任务。图5-5只是旧WolframAlpha的实体展示例子,不证明内部实现。

实体视角补充文档检索保存独立卡片。

原书依据 · 1 处

积累片段要在末尾收束

名词块提取器先积累当前片段,遇到下一名词块才把前片段追加到结果,但循环结束后没有追加最后一块,因而尾块会丢失。流式分段不仅要处理分隔边界,也要处理输入结束;空输入、仅一块和最后一块没有后继都是必要边界,不能靠下一条记录永远会到来。

积累片段要在末尾收束保存独立卡片。

原书依据 · 2 处

旧片段标签不能借用新词标签

示例在开始新名词块时,把旧块文本与当前新词的pos一起保存,可能给旧片段配上下一块标签。积累的文本及其标注属于同一结果,必须一起维护,不能只保留文本再拿当前循环状态凑元数据;否则后续按(实体,词性)计数也会被污染。

旧片段标签不能借用新词标签保存独立卡片。

原书依据 · 2 处

5.4.1 领会人类语言数据

主谓宾三元组需要具体关系解释;用句子作为窗口只能得到共现候选,不能把同句自动说成参与同一事件。

积累片段要在末尾收束关联本项背景,实质主要讲解在对应位置。

旧片段标签不能借用新词标签关联本项背景,实质主要讲解在对应位置。

高亮核查应保留文本位置关联本项背景,实质主要讲解在对应位置。

原书依据 · 6 处
同句共现不等于明确关系

主谓宾三元组要说明哪个实体通过什么动作涉及另一个实体;同一句里列出多个名词只能说明它们共现。复杂句的参与者、否定、修饰和嵌套关系不能只靠名词顺序补出谓语;示例后来实际返回的是每句实体块列表,并未完成主谓宾关系抽取。

同句共现不等于明确关系保存独立卡片。

原书依据 · 1 处
共现窗口必须保留上下文身份

按句子分别保存实体候选,并让其位置与原句列表一一对应,可以回到原文解释一组共现来自哪里。即使某句没有足够实体,也保留对应空列表,避免过滤后索引错位。窗口大小决定共同出现的含义;共现图的边应标为所定义的观察联系,而非未经验证的现实交互。

共现窗口必须保留上下文身份保存独立卡片。

原书依据 · 1 处

5.5 人类语言数据处理分析的质量

评估先固定黄金标注和匹配规则,再区分误报/漏报计算精确率与召回率;F1汇总二者,训练外评估检验泛化而非只看训练表现。

黄金标注先确定匹配单位

创建可信参考标注后,算法结果才有可比较的标准。实体评估必须明确按完整文本、跨度、类型还是部分重叠匹配;Mr.Green与拆成两个片段是否算对,取决于预先定义的口径,不能看完结果后临时放宽。样本还需代表目标资料,单个容易句子的完美得分不能证明整库质量。

黄金标注先确定匹配单位保存独立卡片。

原书依据 · 1 处

精确率与召回率分清分母

TP是正确命中的正例数,FP是误报数,FN是漏报数;这些是计数,不是“误报率”等比率。精确率P=TP/(TP+FP),看报出的有多少正确;召回率R=TP/(TP+FN),看应找到的有多少找到。原书将P叫准确率,需与总体accuracy区分;召回下降由漏报等变化决定,不是仅因FP增加。零分母须明确约定。

精确率与召回率分清分母保存独立卡片。

原书依据 · 1 处

调和平均约束单项偏低

F1=2PR/(P+R),也可写成2TP/(2TP+FP+FN),在同一有效计数口径下汇总精确率与召回率。它会受较低一项限制,不使用TN,不能代替所有任务质量或成本指标。若四个黄金实体里只完整命中两个、另外报出两个错误片段,则TP=2、FP=2、FN=2,P/R/F1均为0.5;这是完整实体精确匹配口径的教学计算。

调和平均约束单项偏低保存独立卡片。

原书依据 · 1 处

训练表现不能代替泛化能力

模型在训练样本上很好、在未见样本上差,说明可能记住了训练细节而没有学到可迁移规律。评估要使用未参与训练与调参的资料,避免只在用于改规则的黄金样例上宣布有效;好坏结论还受文档类型与样本分布影响,不保证每次提高召回都必降低精确率。

训练表现不能代替泛化能力保存独立卡片。

原书依据 · 1 处

留出评估不同于轮换验证

一次留出约三分之一用于评估,是固定训练/测试划分的例子;k折交叉验证会把训练数据分成k份,轮流用k−1份训练、剩余一份验证,再汇总多轮结果。原文把留出例子统称交叉验证不够完整;仍需避免最终测试参与选模型,按数据的分组或时间依赖选择划分口径。

留出评估不同于轮换验证保存独立卡片。

原书依据 · 1 处

5.6 本章小结

本章把网页处理、语言分析、实体候选与质量评估连接起来,工具只是起点,是否够用要回到任务目标和数据。

5.7 推荐练习

练习建议对摘要、词干、实体、分类与质量权衡进行扩展,并按文本领域比较工具。

5.8 在线资源

资源清单汇集提取、爬取、语言处理与统计评估的参考入口。

第6章 挖掘邮箱:分析谁和谁说什么以及说的频率等

邮件把人类语言正文与通信字段放在一起,既可分析话题,也可分析时间与发收关系;先规范化再查询。

邮件同时包含内容与通信线索

邮件正文可作语言分析,发件人、收件人、时间和回复引用等字段则提供通信关系与时间线线索。二者结合可回答谁与谁联系、什么时候发生及谈什么,但字段值不自动证明现实身份或关系意图,转发和引用内容还需分层解释。整理为可查询记录前,要保留来源与原字段语义。

邮件同时包含内容与通信线索保存独立卡片。

原书依据 · 1 处

6.1 概述

本章将邮件规范化、存储和查询串联,并介绍导出资料的渠道。

6.2 获取和处理邮件语料库

先以虚构小邮箱认识格式,再把邮件集合转成mbox和可查询记录。

6.2.1 Unix邮箱指南

mbox用分隔行串联邮件,邮件头提供回复线索;引用正文与缺失中间消息说明解析不能只依赖可读文本。

邮箱分隔行不同于发件人头

mbox把多封邮件按顺序存入一个文件,用From加空格开头的分隔行标识消息边界;它不同于消息内的From:字段。分隔行、Date头和正文里引用的日期还可能不一致,本书虚构例子就有2009与2001差别。不同mbox实现存在边界与转义变体,不能仅凭看到From文本就自行切成一封新邮件。

邮箱分隔行不同于发件人头保存独立卡片。

原书依据 · 3 处
回复引用可以指向缺失消息

Message-ID标识消息,In-Reply-To与References提供回复链和引用关系。虚构例子中存有Buddy与Santa两封,但Santa回复的中间Rudolph邮件未在文件里,引用仍可说明一个未观测节点;缺记录不应被替换成猜测正文。主题相同或含转发文本也不等于相同的直接回复关系。

回复引用可以指向缺失消息保存独立卡片。

原书依据 · 1 处
引用正文不能当新消息事实

邮件客户端可能用>、可读头或无标记等方式保留旧内容,直接把整份正文当本次发件人新说的话会混合层次。结构化头与正文线索要分开,无法可靠剥离时保留不确定范围;引用中出现一个地址也不证明它是本次真正收件人。

引用正文不能当新消息事实保存独立卡片。

原书依据 · 1 处
邮件正文按MIME结构解释

简单例子假定单部分邮件,取walk的第一项和payload可处理该虚构输入;多部分时第一项可能是容器,payload也可能是子消息列表。提取正文需区分容器、文本、附件与替代版本,再按传输编码和字符集处理,不能把一个取首项的函数当任意邮箱完整解析器。

邮件正文按MIME结构解释保存独立卡片。

原书依据 · 2 处
普通字典会压缩重复邮件头

邮件头可以重复,直接把items转成以头名为键的普通字典会覆盖同名项,丢掉多值信息。需要保留多个Received等字段时,应使用支持多值的表示或逐项保留;消息对象的映射接口也有大小写与重复值语义,不能未经说明当成普通字典。

普通字典会压缩重复邮件头保存独立卡片。

原书依据 · 2 处

6.2.2 获得Enron数据

原始Enron样例按人/文件夹存单封邮件,规范化要先确认目录与文件代表的观察单位,再转换为工具能读取的容器。

文件组织方式限定语料边界

邮件目录中按人和收件/发件等文件夹存放单封消息,选取哪些路径会改变分析覆盖。只取inbox得到收件箱子集,不等于某人全部通信或整库;同一消息可能在多个位置留副本,后续按记录计数前还需明确去重与身份口径。目录结构本身不是业务关系图。

文件组织方式限定语料边界保存独立卡片。

原书依据 · 4 处
小文件同步成本不同于总字节

压缩包下载、解压和同步大量小文件是不同阶段;即使总字节不大,逐文件的元数据与同步开销也可能主导耗时。书内Vagrant同步比下载慢的经验说明应定位具体阶段,不把450MB、10分钟或两小时当所有环境固定性能。可以复用已处理输入时,仍要核验其来源和转换版本。

小文件同步成本不同于总字节保存独立卡片。

原书依据 · 1 处

6.2.3 将邮件语料转换为Unix邮箱

转换脚本仅遍历inbox,解析头和日期后添加mbox分隔行;输入范围、头解析与格式化不能因输出文件存在就自动正确。

文件组织方式限定语料边界关联本项背景,实质主要讲解在对应位置。

邮箱分隔行不同于发件人头关联本项背景,实质主要讲解在对应位置。

原书依据 · 7 处
邮件头不宜用单行模式猜解

示例用正则从整份文本取From与Date,依赖固定大小写、换行和头形状;[^\r]+并没有排除换行,在仅LF输入中可能吞进后续多行,缺头时groups也会失败。应先按邮件头语法解析,再区分发件地址、显示名和原始字段;不能把一个样本匹配成功当任意邮件解析保证。

邮件头不宜用单行模式猜解保存独立卡片。

原书依据 · 1 处

6.2.4 将Unix邮箱转换为JSON

把邮件逐条转成JSON行便于导入,但MIME、地址、多值头、日期与损坏编码都必须按真实契约处理,格式转换不能掩盖信息丢失。

普通字典会压缩重复邮件头关联本项背景,实质主要讲解在对应位置。

邮件正文按MIME结构解释关联本项背景,实质主要讲解在对应位置。

原书依据 · 4 处
逐条输出降低集合驻留成本

生成器每次转换并产出一封消息,外层立即序列化为一行JSON,可避免先把整个邮箱的所有结果攒成列表。它仍要在内存中处理当前消息和部件,不保证单条超大内容没有成本;若编码器再将整个生成器list化,集合驻留优势就会消失。示例的逐条循环才是流式边界。

逐条输出降低集合驻留成本保存独立卡片。

原书依据 · 1 处
JSON行不是外层数组

一行一份JSON对象适合逐条读取与导入,文件整体却不是一个外层数组。读取器应按行解析,不能直接把整个多行对象文件当单个JSON值;序列化器会把内容中的换行转义,不能靠原始正文的实际换行自行拼格式。记录分隔、字符编码和导入模式要一致。

JSON行不是外层数组保存独立卡片。

原书依据 · 1 处
忽略解码错误会丢失信息

ignore会跳过无法按指定编码解释的字节,避免异常并不说明得到正确文本。错误的UTF-8假设可能删掉人名、地址或正文部分,影响词频和关系识别;应按声明字符集解码并保留原始资料与失败记录,按目标选择严格失败、替代或其他处理,不能把空串当数据本来为空。

忽略解码错误会丢失信息保存独立卡片。

原书依据 · 1 处
传输编码与字符编码要分层

quoted-printable或base64把字节表示成可传输形式,charset再说明这些字节怎样转为文字。示例先统一UTF-8解码再无条件quopri处理,不能涵盖所有MIME类型;应根据Content-Transfer-Encoding先恢复字节,再按部件字符集解码。HTML正文还需另作文本提取,附件与多种替代正文也不能简单全部拼接当独立内容。

传输编码与字符编码要分层保存独立卡片。

原书依据 · 2 处
地址列表不能直接按逗号拆

To/Cc/Bcc可能包含显示名、带引号的逗号、折行或地址组。去空白再按逗号切分会破坏合法地址结构,显示名也不应与地址混作同一个身份;应按地址语法解析并保留原值。字段未出现与明确为空也需按分析目标区分,不能从没有Bcc字段推断绝无密送。

地址列表不能直接按逗号拆保存独立卡片。

原书依据 · 2 处
统一时间必须保留原时区

解析出的邮件Date带偏移信息,但mktime把传入时间元组解释为本机本地时间;先丢掉偏移再调用它,可能把同一封邮件映射到错误时刻。要先把明确时区的时间换成统一瞬间,再按目标生成秒/毫秒,并保存原值及无法解析的情况;毫秒单位正确并不能修复时区错误。

统一时间必须保留原时区保存独立卡片。

原书依据 · 3 处
JSON标记需要接收端解释

JSON本身没有原生日期类型,{$date:毫秒值}是特定导入协议的类型标记,不是任意JSON解析器都会自动转成日期。本书借MongoDB当时的扩展格式保存时刻;移植应核对导入工具接受的格式与单位,不能把普通对象的键名当数据库已建立日期类型。

PyMongo样例的datetime与ObjectId不能仅靠普通JSON原语完整表达,json_util等类型适配器把它们转成带类型标记的对象。能打印出JSON文字不等于另一个接收器会恢复相同类型,需核对读写双方格式版本。

JSON标记需要接收端解释保存独立卡片。

原书依据 · 2 处

6.2.5 将JSON化的邮件语料导入MongoDB

邮件导入数据库后,用集合统计和单条查询核对数据形状;命令行输出、对象数量与索引状态是不同层面的证据。

导入后核对数量与字段类型

导入命令执行后,应核对选定数据库和集合的文档数、样本字段形状与类型,再检查索引是否符合后续查询。原书stats与findOne分别展示集合状态和一条记录,不能仅凭一条样本证明全部记录完整正确;不同示例的41299/41300也未必来自同一快照。语料边界与转换规则仍要单独保留。

导入后核对数量与字段类型保存独立卡片。

原书依据 · 1 处
数据大小与索引空间分别核算

文档逻辑大小、分配存储空间与索引空间是不同指标,索引可能占用明显额外空间。原书一次统计只有_id索引,另一例还含TextIndex;不能只看文档总字节就推算整个数据库占用或索引已齐备。字段的确切指标语义依赖版本,示例220MB不是所有语料固定比例。

数据大小与索引空间分别核算保存独立卡片。

原书依据 · 1 处
命令输出不能替代退出结果

执行外部导入或查询命令,应分别检查进程是否成功结束、输出能否解析以及数据库结果是否满足目标。stdout/stderr只是输出通道,打印它们不等于判断成功;旧封装mongo函数还把db与–eval之间空格写成粘连形式,不能把示例输出当当前字符串已可执行的证明。本轮只读,未启动shell或导入MongoDB。

命令输出不能替代退出结果保存独立卡片。

原书依据 · 1 处

6.2.6 在程序中使用Python访问MongoDB

客户端按数据库和集合访问消息,序列化需处理BSON扩展类型;map-reduce则把局部变换与同键聚合分成两步。

JSON标记需要接收端解释关联本项背景,实质主要讲解在对应位置。

原书依据 · 2 处
映射与化简按键组织计算

map阶段把每条输入转换成零个或多个键值对,reduce阶段把同键的值合并为结果。对每个数平方再求和是简化示意,但分布式计算还要明确分组和可合并性;这不表示任何问题改写为map/reduce就更快。MongoDB当前官方说明其map-reduce自5.0起弃用,学习模式不能等同于照旧接口开展新实现。

结构图:处理流程示意,非代码类图。

flowchart LR
 A["输入记录"] --> B["map产生键值"]
 B --> C["按键聚集值"]
 C --> D["reduce合并"]
 D --> E["分组结果"]

映射与化简按键组织计算保存独立卡片。

原书依据 · 1 处

6.3 分析Enron语料库

本节转向计数和组合查询,并用原书历史背景说明为什么会检索这些词与人物。

6.3.1 根据日期/时间范围查询

日期查询要求类型和边界一致;范围筛选、排序字段及辅助输出都要核对实际变量,而非只看注释。

统一时间必须保留原时区关联本项背景,实质主要讲解在对应位置。

原书依据 · 3 处
连续时间窗口宜明确端点归属

示例$gt start_date与$lt end_date两端都不包含,恰好等于起点的邮件会被排除。按日连续统计时常采用起点包含、终点排除的窗口,避免边界重复或遗漏;无论选哪种规则,都应把时区和端点写清楚。日期已经转成原生类型,也不能替代边界定义。

连续时间窗口宜明确端点归属保存独立卡片。

原书依据 · 1 处
字段名大小写必须前后一致

文档与过滤条件用Date,排序却用date,实际是在另一个字段上排序;如果该字段不存在,不能获得所宣称的邮件日期顺序。查询条件、排序、投影和索引需对应同一真实字段,不能仅因为拼写近似或返回一些数据就认作排序生效。

字段名大小写必须前后一致保存独立卡片。

原书依据 · 1 处
辅助函数应处理传入对象

示例pp接收o却序列化外层msgs,碰巧传入msgs时看不出差别,换别的对象仍会打印旧全局结果。复用函数应让实现与参数职责一致,避免隐式读取外层临时变量;调试展示也可能误导对查询结果的判断,不能因输出长得合理就忽略数据来源。

微格式两个解析函数也接收url却请求外层URL,换输入时可能继续解析旧页面。复用前需沿数据流核对实际请求的变量,而不是只看参数名。

辅助函数应处理传入对象保存独立卡片。

原书依据 · 2 处

6.3.2 发件人/收件人通信的分析模式

地址去重与集合运算能描述已观察角色,但不能直接推出每封人数、员工覆盖或真实通信习惯;别名与语料子集决定解释范围。

集合重叠不保留频次排序关联本项背景,实质主要讲解在对应位置。

实体解析区分记录与实体关联本项背景,实质主要讲解在对应位置。

文件组织方式限定语料边界关联本项背景,实质主要讲解在对应位置。

原书依据 · 11 处
去重地址数不能推出每封均值

distinct得到不同地址的数量,不能由收件地址总数与发件地址总数的比值推出每封邮件平均几人。后者应逐封定义To/Cc/Bcc计数及去重规则,再按邮件数求平均;单个地址可出现很多次,群发也可包含重复,分子分母不是同一观察单位。

去重地址数不能推出每封均值保存独立卡片。

原书依据 · 1 处
地址域名筛选不证明员工身份

把地址字符串中含@enron.com当筛选规则,可能误中更长后缀或显示文本;应先按语法解析地址,再比较精确域名。即便域名正确,也只是账号域线索,不证明每个地址对应当期一位独立员工,更不证明账号属于特定法律或组织角色。

地址域名筛选不证明员工身份保存独立卡片。

原书依据 · 1 处
地址覆盖不同于人员覆盖

以约17000个收件地址除以20600名员工,不能直接宣称覆盖80%员工:地址与人不是同一单位,还可能有别名、群组、历史账号和统计时点差异。提及某个地址也不等于拥有其完整邮箱。只有明确人员映射和样本范围,才能解释人群覆盖。

地址覆盖不同于人员覆盖保存独立卡片。

原书依据 · 1 处
按别名集合匹配需要明确角色

用$in可把多个已确认别名作为一个查询条件;对To数组匹配与对From字段匹配分别回答收到和发出的记录。To不包括Cc/Bcc,别名列表也可能不完整,因此两个查询结果不自动代表全部通信;还需保留别名依据和语料文件夹范围。

按别名集合匹配需要明确角色保存独立卡片。

原书依据 · 1 处

6.3.3 编写高级查询

聚合管道逐阶段改变数据形状:筛选、投影、数组展开和按键去重各有作用,必须先确定结果是每封消息还是互异地址。

聚合管道每步改变输入形状

本例$match先筛发件人,$project保留后续所需字段,$group按键汇总;每步输出就是下一步输入,因而需逐步确认字段形状与记录数量。尽早筛掉无关数据通常有利,但投影不能丢掉后续需要的键,减少返回字段也不自动等于已获得合适索引。

聚合管道每步改变输入形状保存独立卡片。

原书依据 · 1 处
数组整体去重不等于逐项去重

未展开To时,$addToSet把整份收件人数组当一个值去重,结果是互异数组的集合;先$unwind则让各收件地址分别成为记录,再按地址去重,才能得到互异收件人。两种结果的层级和计数含义不同,不能把数组的个数直接当邮件个数。

数组整体去重不等于逐项去重保存独立卡片。

原书依据 · 1 处
字段引用与常量字符串分开

MongoDB聚合表达式中$From引用输入字段,”From”则是常量字符串。示例第二条管道漏写$,会把所有输入汇到常量键;因为前面恰只筛一位发件人,成员内容可能仍看似合理,但_id不能如展示般自动变成其邮箱地址。扩展到多个发件人时会混组。

字段引用与常量字符串分开保存独立卡片。

原书依据 · 1 处
先去重会改变逐封邮件统计

示例先用$addToSet收集互异To数组,再按这些数组长度计算“每封收件人数”,重复收件列表的多封邮件已被折叠。若目标是每封统计,应保留消息ID与原数组分别计数;若目标是互异列表或地址,应明确另用去重口径。一个大数组长度高于所有互异地址数并不矛盾,因为数组内部也可有重复。

先去重会改变逐封邮件统计保存独立卡片。

原书依据 · 1 处

6.3.4 根据关键词查找邮件

全文索引帮助从大语料找到候选消息,字段权重体现检索目标;索引结构与额外空间带来效率,不能代替语义解释。

相关性分数需在同一口径比较关联本项背景,实质主要讲解在对应位置。

原书依据 · 2 处
全文索引范围影响成本与含义

对所有可索引文本字段建全文索引可扩大搜索覆盖,但索引本身有构建、存储和写入维护成本,也可能把不需要搜索的字段纳入候选。应根据主题、正文或通信字段的用途选择范围并核对实际索引,不把一次约220MB的历史样例当普遍成本。索引能返回候选,不证明每条命中与问题相关。

全文索引范围影响成本与含义保存独立卡片。

原书依据 · 1 处
字段权重体现检索目的

给主题、正文、To/From或Cc/Bcc不同权重,是把检索目标编码到排序中:找通信对象和找内容主题不必使用相同优先级。权重改变的是相对得分贡献,不证明某字段更真实,也不解决地址解析或词义歧义。搜索得分应在同一查询和配置下解释,不能当概率或事实置信度。

字段权重体现检索目的保存独立卡片。

原书依据 · 1 处
平衡多路索引减少访问层数

B树类结构通过保持有序与平衡,让查找沿层级定位范围,核心操作的层数随规模按对数增长;多项键值可放在一页中,有利于减少外部存储访问。O(log n)描述增长量级而不是固定毫秒耗时,实际还受页大小、缓存、写入和实现影响,不能据此认定所有索引类型或负载都最优。

平衡多路索引减少访问层数保存独立卡片。

原书依据 · 1 处

6.4 探索和可视化时序趋势

日期先投影为时间桶,再分组计数和排序;粒度、时区、缺桶与源数据异常都影响时间模式的解释。

时间桶粒度由分组键决定

示例虽投影年/月/日/小时,实际group只用年与月,因此结果是每月邮件数。dayOfMonth表示月内日期,不是星期几;要分析周几或小时,必须选择对应字段并说明时区。投影出某个字段不等于后续已按该字段分组,按年月排序也不自动补齐没有记录的月份。

时间桶粒度由分组键决定保存独立卡片。

原书依据 · 1 处

取模可构造固定宽度时间桶

对非负整数小时h,h−(h mod 2)把小时归到0、2、4直到22的两小时桶起点,例如3归2、4归4。它改变时间分辨率而非日期时区;不同日期的相同小时是否合并,还取决于其他分组键。选择桶宽要配合问题,不能从粗桶中恢复更细峰值。

取模可构造固定宽度时间桶保存独立卡片。

原书依据 · 1 处

时间异常先核对数据与事件

样例中2020年日期由原始导出bug造成,说明时间峰值或离群点应先回查原字段、转换和覆盖范围。2001年10月记录激增可以提出与外部事件相关的假设,但仅凭同时发生不能单独证明因果;还需检查语料增加、重复和日期处理等可能性。保留原值和处理依据,再决定分析范围。

时间异常先核对数据与事件保存独立卡片。

原书依据 · 1 处

6.5 分析你自己的邮件数据

自有资料可以经客户端导出或协议获取,导出后沿用同一解析管道,但需明确选中范围与格式。

文件组织方式限定语料边界关联本项背景,实质主要讲解在对应位置。

邮箱分隔行不同于发件人头关联本项背景,实质主要讲解在对应位置。

原书依据 · 7 处

6.5.1 通过OAuth访问你的Gmail

OAuth使应用以取得授权的凭证访问特定账号,旧示例anonymous表示客户端取值而不是账号或访问范围匿名。

授权令牌不等于用户密码关联本项背景,实质主要讲解在对应位置。

原书依据 · 7 处
匿名客户端不等于匿名访问

旧示例把consumer的key/secret设为anonymous,仍另外提供Gmail账号和用户token/secret;不能因此认为可匿名读取邮箱。它是旧XOAUTH流程的客户端约定,与当前Google说明的SASL XOAUTH2使用OAuth2访问令牌并非同一套参数。当前接入应核对机制与授权范围,不能只替换包名照搬旧示例。

匿名客户端不等于匿名访问保存独立卡片。

原书依据 · 1 处

6.5.2 通过IMAP获取和解析邮件

搜索返回状态和消息编号,获取后才能按邮件结构转换;接口失败、编号变化和部分跳过要与真正完整导出分开。

解析响应不证明请求成功关联本项背景,实质主要讲解在对应位置。

统一时间必须保留原时区关联本项背景,实质主要讲解在对应位置。

传输编码与字符编码要分层关联本项背景,实质主要讲解在对应位置。

地址列表不能直接按逗号拆关联本项背景,实质主要讲解在对应位置。

原书依据 · 10 处
消息序号不同于持久身份

普通IMAP SEARCH返回当前邮箱里的消息序号,邮箱改变尤其删除清理后可能重新编号,不是可跨快照稳定复用的邮件ID。持续导出需按协议使用UID并保留邮箱有效性语境,再与消息头Message-ID区分;不能把搜索得到的数字列表直接当永久主键。

消息序号不同于持久身份保存独立卡片。

原书依据 · 1 处
跳过失败项需记录未完成范围

抓取循环捕获异常后继续,会产生部分成功的messages列表;其长度只能说明已收集数量,不表示搜索匹配项全部拿到。需要保留原候选数、成功项身份和失败原因以供对账或重试,不能把最后写出了JSON就称完整导出。对语料分析也应带上缺失范围。

跳过失败项需记录未完成范围保存独立卡片。

原书依据 · 2 处

6.5.3 “Graph Your Inbox”Chrome扩展对Gmail的可视化模式

旧扩展示例把查询结果按年月与日期显示,说明相同分析方法可以封装成可交互工具,但展示计数仍要核对对象。

6.6 本章小结

邮件统一表示、存储和查询后,可把时间分析、关系分析与文本方法组合起来。

6.7 推荐练习

练习建议扩展索引、词干、会话恢复和时间轴,但每项仍需要实际数据与相应实现依据。

6.8 在线资源

清单提供邮件格式、协议、索引和显示工具的复习入口。

第7章 挖掘GitHub:检查软件协同习惯、构建兴趣图谱等

Git的本地版本库使提交不必依赖中央服务器,GitHub在其上提供fork与拉取请求等协作流程;本章分析这些行为数据而非实现版本控制。

本地提交与平台协作分层

典型Git本地版本库允许在离线时记录提交,GitHub则在托管平台上组织派生仓库、问题与拉取请求。fork是平台建立仓库关系的协作入口,提出pull request也不是变更已经合并;本地代码副本、提交历史和上游协作状态需分别理解。原书“所有副本都是工作副本”是简化,不作为Git仓库所有形态的完整定义。

本地提交与平台协作分层保存独立卡片。

原书依据 · 1 处

7.1 概述

本章把用户、仓库和语言关系建成兴趣图,并用中心度等指标分析结构。

兴趣图谱连接人与关注对象关联本项背景,实质主要讲解在对应位置。

原书依据 · 5 处

7.2 探索GitHub的API

创建、派生与加星记录不同程度和含义的项目关联,分析时不能混作同一种参与。

项目加星不等于代码贡献

star可作为收藏或兴趣线索,fork表示建立一个派生仓库,提交或合并贡献又是其他行为。给项目加星不证明实际使用、认同全部内容或参与开发;fork也可能只是留存快照而未继续修改。推荐系统可利用这些信号,但要保留边类型与观察范围,不能把行为直接当人的稳定偏好。

项目加星不等于代码贡献保存独立卡片。

原书依据 · 1 处

7.2.1 建立GitHub API连接

REST响应同时在正文和头中提供对象、分页及配额信息;认证方式和凭证位置必须按所用版本理解,不能沿用旧用户密码示例。

把令牌放进输出会泄露凭证关联本项背景,实质主要讲解在对应位置。

空搜索结果不能读取首项关联本项背景,实质主要讲解在对应位置。

原书依据 · 8 处
响应头也承载分页与配额

JSON正文提供本页对象,HTTP头还可能给出剩余额度、重置时间、缓存和Link分页入口。只解析正文不能证明已取得全部观星人;应按next关系继续并识别终止条件,last页也不等于任意变动数据的稳定总数。图中配额和页数是2013年快照,不是当前请求结果。

响应头也承载分页与配额保存独立卡片。

原书依据 · 3 处
认证示例必须匹配接口机制

旧书用用户密码向authorizations端点请求token,并把access_token放查询串;不能将这套历史流程当当前GitHub接入方法。当前官方REST文档要求适当权限的token并通过Authorization头发送,用户密码认证不支持;应用客户端ID/secret也不等于用户登录凭证。认证成功还需区分操作权限和资源可见性。

认证示例必须匹配接口机制保存独立卡片。

原书依据 · 1 处

7.2.2 建立GitHub API请求

客户端延迟分页让使用者按需取结果,但遍历全部仍需网络与内存;节点身份与接口兼容性也不能交给显示名和库封装来保证。

显示名称不能充当唯一键关联本项背景,实质主要讲解在对应位置。

原书依据 · 4 处
惰性分页只推迟实际获取

延迟分页在消费到后续项时才继续请求,不是第一次调用就取完所有页。把结果做列表会消费整个迭代并把全部对象留在内存;若只需计数,可逐项统计而非保留全部对象,仍有全量遍历的网络成本。per_page控制单页大小,不是总返回上限,也不保证多页期间数据静止。

惰性分页只推迟实际获取保存独立卡片。

原书依据 · 1 处
封装客户端不保证上游兼容

SDK可以隐藏请求构造和部分分页细节,却不能保证上游修改字段、权限或废弃接口后原代码永远正常。恢复或移植时仍要核对服务版本、库版本和实际响应契约,尤其是惰性操作可能到遍历时才失败;不要把库存在当作兼容性验证。

封装客户端不保证上游兼容保存独立卡片。

原书依据 · 1 处

7.3 使用属性图为数据建模

属性图把实体与关系分别赋予标识和属性;有向性、多重边、度与密度定义依赖图类型,内存图工具也不等同持久数据库。

属性图分离身份关系与属性

属性图用节点表示实体、边表示关系,并把键值属性附在节点或边上。节点标识负责身份,type/lang等属性描述其特征,边标签说明关系含义;改一个显示属性不应无意改变身份。

结构图:数据模型示意,不是NetworkX代码类关系。

flowchart LR
 U["用户节点:id与type"] -->|"gazes;关系属性"| R["仓库节点:id、owner、lang"]

原书DiGraph的每个有向端点对只对应一条边,不能把一般属性图边身份与所有实现混为一谈。

属性图分离身份关系与属性保存独立卡片。

原书依据 · 2 处

反向遍历不等于反向关系

一条X→Y关系允许按入边查询谁指向Y,但这不表示图中也存在Y→X。是否补反向边取决于领域含义,若只是为了方便遍历就补边,会改变度数、路径和中心度;有向关系应按所建模行为定义,不能由访问API方便性决定。

反向遍历不等于反向关系保存独立卡片。

原书依据 · 1 处

图类型决定边的多重性

简单DiGraph以有序端点对区分边,可有自环但不保留同对端点的多条平行边。需要同时表示同一对对象间多种独立关系时,应选择支持多边的模型或明确在属性里聚合;反复添加边不自动记录多次行为。图类型是计数与算法前提,不能只看节点数量。

图类型决定边的多重性保存独立卡片。

原书依据 · 1 处

平均度不同于归一化密度

有n个节点m条有向边时,入度总和与出度总和都为m,平均入/出度均为m/n。无自环简单有向图的密度则为m/[n(n−1)],两者不能直接当同一数值;n−1的最大单向度也依赖无自环/无平行边假设。相同平均度可以对应不同拓扑,不证明存在一个枢纽。

平均度不同于归一化密度保存独立卡片。

原书依据 · 2 处

内存图工具与持久数据库分开

NetworkX主要提供内存中图结构与算法,规模受进程内存和算法成本约束;这不同于有持久存储、查询与管理能力的图数据库。缩小分析范围或增加内存会改变可处理规模,不能自动解决任意大图;选择存储系统也不替代节点/边语义与模型设计。

内存图工具与持久数据库分开保存独立卡片。

原书依据 · 1 处

7.4 分析GitHub兴趣图谱

从同一仓库的观星人开始扩展图,再用结构指标辅助超出视觉查看能力的分析。

7.4.1 初始化一个兴趣图谱

初始图以用户到仓库的加星边构成星形,节点命名空间和派生仓库合并策略决定实体是否被正确区分。

自我图需要说明邻域范围关联本项背景,实质主要讲解在对应位置。

平均度不同于归一化密度关联本项背景,实质主要讲解在对应位置。

属性图分离身份关系与属性关联本项背景,实质主要讲解在对应位置。

原书依据 · 6 处
节点身份要包含类型与归属

给节点加(user)/(repo)可避免跨类型同名,但不同用户的同名仓库仍会碰撞。更完整的标识需包含对象类型及仓库所有者等归属,或采用明确的稳定对象标识,名称留作展示。不能因为原书暂时只查一个仓库,就把repo.name后缀策略当多仓库图的全局唯一方案。

节点身份要包含类型与归属保存独立卡片。

原书依据 · 2 处
派生对象是否合并由问题决定

多个fork有派生关系,但仍可能各自发展;分析项目家族兴趣时可以有据归并,分析具体仓库协作时则需保留各自节点。归并应记录来源关系和规则,不能按同名一概合并,也不能把派生关系当代码和社区永远相同。

派生对象是否合并由问题决定保存独立卡片。

原书依据 · 1 处

7.4.2 计算图的中心度度量

度、中介和接近中心度分别强调直接连接、最短路中介与平均路径距离,指标最大者可以不同,方向与归一化决定解释。

度中心度需要说明归一化

度描述节点关联边数;NetworkX degree_centrality按n−1归一化,并非原始整数边数。无向简单图常在0到1,有向时该接口使用入度加出度,可能超过1;只关心被指向或指向别人应分别看入/出度指标,自环与多边还改变边界。高连接数只是结构特征,不自动等于真实影响力。

度中心度需要说明归一化保存独立卡片。

原书依据 · 1 处
中介中心度关注最短路径份额

中介中心度把节点位于其他节点对最短路上的比例累加,强调桥接位置,不是只数直接邻居。存在多条同长最短路时贡献按比例分摊,是否计端点、归一化及边距离权重都会改变数值。高值可能提示结构桥梁,但不保证删除它必然断图,也不证明所有现实交流都沿最短路。

中介中心度关注最短路径份额保存独立卡片。

原书依据 · 1 处
接近中心度要先定路径方向

接近中心度以可达节点的平均最短路距离的倒数刻画接近程度;断开图还需说明对可达部分大小的修正。当前NetworkX有向图默认用其他节点到目标节点的入向距离,想分析向外传播要明确反向图或相应口径,不能直接按原文“分散给其他节点的能力”解释默认结果。

接近中心度要先定路径方向保存独立卡片。

原书依据 · 1 处
中心度的不同高值代表不同角色

风筝图表中节点3度中心度最高,7中介最高,5/6接近最高,说明直接连接多、桥接与路径接近是不同结构角色。选择指标前先定义问题及边的含义,不把所有中心度排名合为单一“最重要人物”。图若只是部分采样,这些排名也只能针对当前图解释。

中心度的不同高值代表不同角色保存独立卡片。

原书依据 · 1 处

7.4.3 为用户添加“关注”边来扩展兴趣图谱

先在种子仓库用户群中补关注边,再扩展各人加星项目;截断、失败跳过和节点删除会改变图的范围,中心度必须按边类型与正确算法解释。

节点身份要包含类型与归属关联本项背景,实质主要讲解在对应位置。

跳过失败项需记录未完成范围关联本项背景,实质主要讲解在对应位置。

响应头也承载分页与配额关联本项背景,实质主要讲解在对应位置。

原书依据 · 7 处
混合图的度数先分清边类型

同一图里既有关注用户的follows,又有加星项目的gazes,总度数会把不同关系相加。要统计群内被关注数,应过滤follows并统计入边目标;某人出度大不等于粉丝多,限制每人500个加星项目也不能限制其全部出边。指标名称应与实际关系口径一致。

混合图的度数先分清边类型保存独立卡片。

原书依据 · 1 处
截断图保留的是有限观察

限制每人前500个加星项目可控制图规模,但切片顺序和上限会影响哪些兴趣被看见;不是随机或完整观察。关注边又只保留种子用户群内部,因此群内入度不是GitHub全站粉丝数。需记录截断和失败跳过,不能把子集排名解释为全站重要性。

截断图保留的是有限观察保存独立卡片。

原书依据 · 1 处
移除枢纽会改变分析对象

删除种子仓库或高连接节点可让剩余结构更易检查,但同时改变路径、连通性和中心度。应保留原图/副本与过滤理由,并比较过滤前后结果,而非仅因一个节点大就认定它是噪声。高连接可能是研究对象本身,删除它不是普遍正确的性能优化。

移除枢纽会改变分析对象保存独立卡片。

原书依据 · 1 处
跨中心度绝对值不能直比

度、中介和接近中心度采用不同公式与归一化,不能仅因中介数值前有更多0,就断言网络没有有效中介。应在同一指标、图范围和参数下比较节点,并结合路径结构解释;跨社区比较还要核对规模与采样。小数位数不是共同量纲。

跨中心度绝对值不能直比保存独立卡片。

原书依据 · 1 处
最短路径不同于最小生成树

最短路径关注某起终点之间的最小距离;最小生成树关注连接全体节点时树的总边权最小,二者不是同一个目标。中介与接近中心度使用最短路径,不是靠Kruskal求一棵最小生成树;不能从MST的O(E log E)直接推出这些中心度的复杂度。原书计算考虑段把它们混在一起,需要明确纠正。

最短路径不同于最小生成树保存独立卡片。

原书依据 · 1 处
图快照需绑定范围与模型

保存图快照可恢复某一分析状态,仍要记录数据获取范围、节点身份、边类型、过滤规则和库版本。序列化文件只是对象当时的表示,不替代这些解释,也不保证未来库版本或任意来源反序列化兼容。用于实验应从已确认来源的快照恢复,保留原图再做破坏性筛选。

图快照需绑定范围与模型保存独立卡片。

原书依据 · 1 处

7.4.4 以节点为中心获得更高效的查询

把语言属性提升为节点并物化关系,可从语言节点聚集用户和仓库;这种转换不新增行为证据,需防止把兴趣代理当真实能力。

集合重叠不保留频次排序关联本项背景,实质主要讲解在对应位置。

好友关系图要选对边方向关联本项背景,实质主要讲解在对应位置。

原书依据 · 6 处
属性提升为节点形成聚集入口

原先每个仓库保存lang属性,查询某语言需扫相关仓库;把语言建为节点,再连接用户与仓库,可把语言作为自然聚集入口。它重组已有数据以服务特定查询,没有凭空产生新事实;派生边需要与原属性保持一致,缺失语言也不能伪装成一种真实语言。

结构图:本书数据模型,边名是代码中的标签,不是已证实的个人能力。

flowchart LR
 U["用户"] -->|gazes| R["仓库"]
 U -->|"programs:书中代理标签"| L["语言"]
 L -->|implements| R

属性提升为节点形成聚集入口保存独立卡片。

原书依据 · 1 处
兴趣代理不能直接断定能力

代码从用户加星的仓库语言推导programs边,只能说明观察到这类项目兴趣,不证明该用户会用这种语言编程。种子仓库若标JavaScript,每个种子用户都会因此连到JavaScript,这可能是建图条件造成的共同点;不能据此独立断定这群人全是网页开发者。分析结果要沿着真实派生依据命名。

兴趣代理不能直接断定能力保存独立卡片。

原书依据 · 1 处
缺失属性桶不是一个真实类别

代码将空语言映射到(lang)节点,适合标记未知,不是第三种流行编程语言。该节点入度统计连到它的用户,而不是未知语言仓库数量;同一个用户可以加星多个未知语言仓库仍只形成一条简单图边。缺失、互异用户和仓库数三个口径不能互换。

缺失属性桶不是一个真实类别保存独立卡片。

原书依据 · 1 处
嵌套循环缩进决定覆盖范围

本EPUB代码把for sg放在for repo循环外,lang/repo/stargazers都只留下最后一次仓库的值,不能按文字宣称已为每个仓库建立语言边。处理子项的循环若属于每个父项,就应置于对应层级,并核对结果覆盖;示例声称的大规模输出不证明当前列出的缩进版本可得到它。

嵌套循环缩进决定覆盖范围保存独立卡片。

原书依据 · 1 处
二分图还需限制边类型

二分图把节点分成两个互不相交集合,边只跨集合连接。用户—语言图可作二分建模,但仅删除仓库节点仍留下用户之间的follows边,就不再满足这两个集合的边约束;需按任务提取跨类型关系再分析。不能只看节点类型恰有两种就认定图是二分图。

二分图还需限制边类型保存独立卡片。

原书依据 · 1 处

7.4.5 兴趣图谱的可视化

大图先按问题提取子图,再把节点与边交给布局工具;视觉形状是布局结果,不是新增关系证据。

图结构与布局坐标分开关联本项背景,实质主要讲解在对应位置。

节点链接数据连接分析与展示关联本项背景,实质主要讲解在对应位置。

原书依据 · 4 处
诱导子图保留所选节点间联系

从图中选择用户节点形成子图,只保留这些节点之间已存在的边,适合单看原用户群的关注结构。它不是补齐这些用户在全站的全部关系,也不包括被排除仓库和语言的路径。导出前需保留筛选规则,避免把子图的中心度和布局当完整网络事实。

诱导子图保留所选节点间联系保存独立卡片。

原书依据 · 1 处

7.5 本章小结

本章把社交行为建模为带类型属性图,再按问题选择结构指标与展示方法。

7.6 推荐练习

练习建议换种子、换度量、比较人群和探索图布局,以检查方法是否依赖特定社区。

7.7 在线资源

清单汇集GitHub接口、图论算法和可视化/并发工具的学习入口。

第8章 挖掘带标记语义网:提取微格式、推断资源描述框架等

本章由网页内嵌结构化数据走向规则推理,微格式提供机器可读入口,但自动理解与推理还有不同前提。

8.1 概述

本章介绍微格式抽取,再用FuXi示例连接事实表示与推理。

8.2 微格式:易于实现的元数据

微格式利用网页中的约定标记表达常见结构,词汇、编码与中介服务分属不同层次,机器可读不保证真实或长期可用。

微格式在网页中约定字段含义

微格式通过约定的HTML类名和嵌套结构,把地理位置、联系方式、日历、简历、菜谱等数据嵌在网页内容里,使机器按共同约定读取字段。它不像去标签后再猜句意,而是内容提供者明确标记含义;标记正确性和实际数据真实性仍需核对,不能把可解析自动当事实为真。

微格式在网页中约定字段含义保存独立卡片。

原书依据 · 1 处

共享词汇与编码方式分层

词汇说明某类对象有哪些概念和属性,编码方式说明它们怎样写进网页或文档。Schema.org提供共享词汇,microdata/RDFa等提供标记机制,微格式则把特定约定结合到HTML结构;不能把项目、词汇和每种语法都当完全相同技术。互通需同时理解字段含义与所用编码。

共享词汇与编码方式分层保存独立卡片。

原书依据 · 1 处

代理服务便利不等于标准存续

从一个服务接口读取结构化数据比自己解析网页方便,但依赖的是服务的存在与契约,不只底层开放标记。原书XFN与Google社交图API的例子说明中介退出会影响既有使用方式,却不能据此断定标记本身不存在;保留数据格式、来源和替代解析入口有助于判断依赖范围。

代理服务便利不等于标准存续保存独立卡片。

原书依据 · 1 处

8.2.1 地理坐标:一个几乎万能的常见思路

geo把经纬度显式标在HTML中,解析需同时核对标记形状与数值,导出地图只是呈现已取得坐标。

坐标顺序取决于交换格式关联本项背景,实质主要讲解在对应位置。

原书依据 · 2 处
坐标标记要保留字段顺序

本书geo两种形式分别以latitude/longitude子节点,或一个geo节点中纬度分号经度表达坐标。读取后要保留两个字段含义并验证数量与数值范围,不能把字符串顺序当任意地图格式的顺序。得到一个地图点不证明它是某个人实时位置,也不自动消除地点实体的语境歧义。

坐标标记要保留字段顺序保存独立卡片。

原书依据 · 1 处
子节点数量不能决定字段完整

示例按geoTag的子节点数选择解析分支,但空白、嵌套和缺字段会改变节点形状,find到外层并不保证latitude/longitude都存在且有直接.string。应按预期字段及备选表示逐项验证,再区分未标注、解析失败与合法坐标,不以子节点数量当完整模式验证。

子节点数量不能决定字段完整保存独立卡片。

原书依据 · 1 处
组合模板后再统一填参

代码把两段字符串用+相接,却只对第二段调用.format,第一段里的{0}/{1}不会因此被替换。若目标是填充整份URL模板,应先明确整体组合范围再填参,并按URL语法编码参数。存在预期的地图截图不证明列出的这个运算分组版本已正确生成地址。

组合模板后再统一填参保存独立卡片。

原书依据 · 1 处
视觉隐藏不改变数据标记含义

CSS的display:none不保留元素布局占位,visibility:hidden通常隐藏显示但保留空间;它们改变呈现,不把标记从源文档中删除。机器读取页面结构仍需按实际DOM/源处理,不能用“用户看不见”推断数据不存在或已经完成访问控制。

视觉隐藏不改变数据标记含义保存独立卡片。

原书依据 · 1 处

8.2.2 使用菜谱数提高线上相亲成功率

hRecipe与hReview-aggregate分别描述菜谱和评价摘要;嵌套字段解析仍需完整性核验,数据联结不能直接证明个人偏好或匹配效果。

辅助函数应处理传入对象关联本项背景,实质主要讲解在对应位置。

原书依据 · 2 处
嵌套微格式要逐字段核验

hRecipe样例分别取菜名、作者、原料和做法,字段可能是字符串、嵌套标签或多项列表,不能因为发现hrecipe外层就假设每层都齐全。只取.string可能漏掉带内部标记的内容,缺作者/做法也需明确处理;原书已说明这是起步解析器,不能当完整规范实现。

嵌套微格式要逐字段核验保存独立卡片。

原书依据 · 1 处
评价数值要结合人数与尺度

hReview-aggregate描述对象的汇总评价,rating、count、votes与summary含义不同。示例评分4与count7没有自动给出完整量表、每条评论或所有投票;null也不等于0。比较前需核对分值范围、样本数量、是否同一对象及聚合口径,不能把一个评分字符串当有足够证据的质量结论。

评价数值要结合人数与尺度保存独立卡片。

原书依据 · 1 处
菜谱数据不证明个人偏好

菜谱页面及评论描述的是内容与公开表达,不自动证明某个具体人的稳定饮食喜好,更不能由地理相近和原料相似推定约会成功。原书提出的是产品设想,没有验证匹配效果的证据;把数据联结成可查询记录与证明现实效果是两步不同的工作。

菜谱数据不证明个人偏好保存独立卡片。

原书依据 · 1 处

8.2.3 使用LinkedIn的2亿在线简历

hResume组合联系方式与时间等子模式,为简历信息提供统一结构;调试工具可展示解析到的字段。

结构化记录可组合子模式

hResume把联系信息、经历、教育等组织为简历记录,并复用hCard/hCalendar等约定。复用子模式有助于让不同消费者理解共同字段,但组合后仍需核对所属层次与关联对象;看到多屏提取结果不保证所有嵌套字段正确,也不等于已确认现实履历。

结构化记录可组合子模式保存独立卡片。

原书依据 · 1 处

8.3 从语义标记过渡到语义网:一个小插曲

结构化标记能给机器明确字段,但与开放自然语言的深层理解之间仍有距离,不能把前景讨论当已实现能力。

8.4 语义网:发展中的变革

Web与互联网基础设施有不同层次,语义网强调机器可解释知识;Web1/2/3这些代际标签只是本书的概念框架。

互联网与Web是不同层次

互联网是互联网络基础设施,Web是在其上利用超文本、链接及HTTP等机制形成的信息与应用系统。SMTP/FTP等也在互联网之上,但不因此等同Web;Web代际标签描述产品与交互观念,不是可用来判断协议兼容性的版本号。原书Web3.0指语义网愿景,不视作统一正式标准。

互联网与Web是不同层次保存独立卡片。

原书依据 · 1 处

8.4.1 人不可能只靠事实生活

RDF用图中的三元组表示断言,词汇和规则赋予特定解释;开放世界将缺失看作未知,但不自动解决矛盾。

语义网抽取

网页微格式提供按约定字段提取结构化数据的入口,RDF则用主语—谓语—宾语三元组构成图来表达资源断言,便于查询、合并及进一步推理。机器能读取标记不保证断言真实,RDF本身也不保证不同来源词汇含义一致;需要清楚的标识、词汇和采用的推理规则。应把“网页声称什么”与“现实已证实什么”分开。

语义网抽取保存独立卡片。

原书依据 · 2 处
本体词汇规定模型中的解释

本体为领域中的类别、关系及约束提供明确词汇与语义,帮助解释RDF断言并得到相应推论。它不只是给字符串换名字,也不等于所有语法结构校验;选择什么词汇、实体标识及规则,会影响跨来源合并后的含义。书内仅作入门,没有提供完整OWL建模方法。

本体词汇规定模型中的解释保存独立卡片。

原书依据 · 1 处
未知不等于已经证明为假

开放世界下,知识库没有某条断言通常表示未知,不能仅凭未记录就判假;封闭世界推理则可在规定范围内把无法证明的正事实按否定处理。两者是解释和推理约定,不是数据天然完整与否的证明,具体否定、约束和查询仍需按系统语义说明。

未知不等于已经证明为假保存独立卡片。

原书依据 · 1 处
开放世界不自动调和矛盾

允许信息不完整与处理不一致是不同问题。开放世界并不保证合并矛盾后总能自动生成一个合理新解释;W3C也区分一致与不一致的断言集合。应识别来源和采用的推理语义,再处理冲突,不能把“允许任何人描述资源”当作所有陈述可同时为真。

开放世界不自动调和矛盾保存独立卡片。

原书依据 · 1 处

8.4.2 推断开放世界

前向链从已给事实反复应用规则得到推论;正确性相对明确规则及假设,示例形式化与自然语言叙述不完全一致。

语义网抽取关联本项背景,实质主要讲解在对应位置。

原书依据 · 2 处
前向链从已知前提推出闭包

前向链从已知事实出发,匹配规则前件并添加后件,重复到目标满足或不再产生新结果。有限且适当受限的规则集可计算这样的闭包,但不保证任意一阶逻辑知识库都终止,也不保证证明现实世界所有真事;可靠性与完备性必须相对规则语言和推理实现说明。

结构图:规则推理流程,不是FuXi代码类关系。

flowchart TD
 A["明确事实与规则"] --> B["寻找前件匹配"]
 B --> C["加入尚未存在的后件"]
 C --> D{"还有新推论?"}
 D -->|是| B
 D -->|否| E["得到当前规则闭包"]

前向链从已知前提推出闭包保存独立卡片。

原书依据 · 1 处
形式规则要与文字前提一致

文字说所有凡人喝威士忌,代码却写Man→drinks,因此示例会由Socrates是人直接推出喝威士忌,不必先用Mortal作中间前提。要演示所声称两步推理,规则前件需对应Mortal;结果恰相同不证明推理路径与叙述一致,需检查实际规则。

形式规则要与文字前提一致保存独立卡片。

原书依据 · 1 处
必要条件不自动成为充要条件

“只有神住在奥林匹斯山”给出住在那里→是神,不自动给出是神→住在那里。代码同时写两方向,是比单向“只有”更强的等价假设;形式化自然语言时需分别核对必要、充分和充要,不能为方便推理随意补逆命题。

必要条件不自动成为充要条件保存独立卡片。

原书依据 · 1 处
逻辑可推出不证明现实为真

推理器根据给定事实和规则推论,结论是否现实可信仍取决于前提、词汇解释和数据来源。苏格拉底/查克·诺理斯例子只是人造知识库,不把其中饮酒或神的断言当历史事实;形式有效、程序输出和现实验证是不同层次。

逻辑可推出不证明现实为真保存独立卡片。

原书依据 · 1 处

8.5 本章小结

本章把显式语义标记、结构化表示和规则推理相连,也将社交数据视为可以被重组与解释的资料。

8.6 推荐的练习

练习建议观察网页标记、学习词汇/推理工具,并开展独立语义网研究。

8.7 在线资源

本节提供语义标记、逻辑、词汇与工具的资料入口。

第二部分 Twitter实用指南

第二部分以问题—解决方案—讨论组织短配方,复用已介绍的授权、API与分析部件。

第9章 Twitter实用指南

短配方可组合成分析单元,但共同依赖授权客户端及所用API版本,代码本身仍需按实际输入解释。

9.1 访问Twitter的API(开发目的)

9.1标题定位自己账号的开发访问问题。

9.1.1 问题

问题是在开发期间访问自己的账号数据。

9.1.2 解决方案

方案使用应用设置提供的OAuth1.0a凭证构建访问,省去该开发场景的交互回调。

9.1.3 讨论

开发场景把客户端与用户令牌交给twitter构造器,得到的对象仍需实际请求才能检验访问结果。

授权令牌不等于用户密码关联本项背景,实质主要讲解在对应位置。

创建客户端不证明授权有效关联本项背景,实质主要讲解在对应位置。

原书依据 · 9 处

9.2 使用OAuth访问Twitter的API(产品目的)

9.2标题转向代表其他用户访问数据。

9.2.1 问题

问题是让应用经OAuth取得其他用户授予的访问权限。

9.2.2 解决方案

方案是使用twitter包完成OAuth交互流程。

9.2.3 讨论

授权流程区分客户端、临时凭证、用户确认与最终用户令牌,Notebook示例的单文件与定时器只是特定演示组织方式。

把令牌放进输出会泄露凭证关联本项背景,实质主要讲解在对应位置。

授权令牌不等于用户密码关联本项背景,实质主要讲解在对应位置。

原书依据 · 10 处
临时凭证与最终令牌分工

OAuth1.0a先取得临时凭证标识一次授权请求,再由用户在服务方确认,最后凭临时凭证和verifier换取访问令牌。客户端key/secret标识应用,最终令牌关联资源拥有者的授权;带外PIN只是verifier传递方式不同,不是跳过用户确认。

结构图:协议流程教学示意,非twitter或Flask类关系。

flowchart LR
 A["应用申请临时凭证"] --> B["用户在服务方确认"]
 B --> C["回调或带外verifier"]
 C --> D["交换最终访问令牌"]
 D --> E["按实际授权访问资源"]

临时凭证与最终令牌分工保存独立卡片。

原书依据 · 2 处
并发授权需隔离临时状态

示例把临时凭证与最终令牌先后写同一个固定文件,适合讨论单次演示的数据流,不能直接用于多个用户同时授权。不同会话可能覆盖彼此临时值;回调应匹配相应授权请求及其token/verifier,并分离用户状态,再保存对应授权结果,不能把当前文件内容当该回调必属的身份。

并发授权需隔离临时状态保存独立卡片。

原书依据 · 1 处
固定延迟不证明服务已就绪

示例延迟一秒触发浏览器授权,再运行阻塞Web服务器,假定服务能及时准备好并正确收尾。固定等待时间不是就绪信号,失败或慢启动时仍可能错过回调;演示改造成应用时需要明确启动完成、授权结果和停止条件,而不只把秒数调大。

固定延迟不证明服务已就绪保存独立卡片。

原书依据 · 1 处
令牌存续受授权状态约束

书中“不自动到期”的历史描述,不表示令牌永远有效或应用可无条件继续访问。用户撤销、权限变化及服务规则都可使授权失效,重试与恢复应根据实际响应判断;令牌值相同也只能在同一授权主体语境解释,不能推定其他用户会得到自己应用设置里那一份。

令牌存续受授权状态约束保存独立卡片。

原书依据 · 2 处

9.3 探索流行话题

本单元定位配方主题、输入目标或简短方案:9.3 探索流行话题

9.3.1 问题

本单元定位配方主题、输入目标或简短方案:9.3.1 问题 你想知道在一个特定的地域内(比如美国、其他国家、一组国家,甚至是整个世界),Twitter上流行什么话题。

9.3.2 解决方案

本单元定位配方主题、输入目标或简短方案:9.3.2 解决方案 Twitter的Trends API(http://bit.ly/1a1kYSQ)使你能够获得特定地域内的流行话题。这些地域是由雅虎设计并维护的Where On Earth(WOE)(http://yhoo.it/1a1kZ9u)ID来指定的。

9.3.3 讨论

趋势查询按WOE地域标识参数化,返回的每个地域范围仍需与所问问题一致。

查询标识位置影响参数含义关联本项背景,实质主要讲解在对应位置。

API数据偏差关联本项背景,实质主要讲解在对应位置。

原书依据 · 13 处

9.4 查找推文

本单元定位配方主题、输入目标或简短方案:9.4 查找推文

9.4.1 问题

本单元定位配方主题、输入目标或简短方案:9.4.1 问题 你想通过特定的关键字和查询条件来查找Twitter中的推文。

9.4.2 解决方案

本单元定位配方主题、输入目标或简短方案:9.4.2 解决方案 使用搜索API进行个性化查询。

9.4.3 讨论

搜索先取一批,再沿next_results定位后续数据;代码的循环与上限不同于精确截断,还必须正确解析续页参数。

续页参数承接同一查询关联本项背景,实质主要讲解在对应位置。

手拆续页参数会改变查询关联本项背景,实质主要讲解在对应位置。

批次上限不等于精确保留数关联本项背景,实质主要讲解在对应位置。

空搜索结果不能读取首项关联本项背景,实质主要讲解在对应位置。

原书依据 · 12 处

9.5 构造方便的函数调用

本单元定位配方主题、输入目标或简短方案:9.5 构造方便的函数调用

9.5.1 问题

本单元定位配方主题、输入目标或简短方案:9.5.1 问题 你想要绑定某些参数到函数调用中,并传递引用到函数中以简化你的编程模式。

9.5.2 解决方案

本单元定位配方主题、输入目标或简短方案:9.5.2 解决方案 使用Python的functools.partial来构造完整或部分的绑定函数,使之能够直接获得参数传递并被其他代码使用,而不需要传递额外的参数。

9.5.3 讨论

偏应用把已知参数保存到可调用对象中,之后只传剩余参数即可复用同一操作。

偏应用预置参数而不执行

partial把目标函数及部分参数保存成新的可调用对象,调用新对象时再补上剩余参数并执行。示例固定twitter_api、地域ID或json.dumps的indent,减少反复传同样参数;它不是提前执行API,也不是自动复制客户端对象或解决授权问题。预置位置与后续参数仍需符合目标函数契约。

偏应用预置参数而不执行保存独立卡片。

原书依据 · 2 处

9.6 使用文本文件存储JSON数据

本单元定位配方主题、输入目标或简短方案:9.6 使用文本文件存储JSON数据

9.6.1 问题

本单元定位配方主题、输入目标或简短方案:9.6.1 问题 你想要存储从Twitter API获取的少量数据,以便重复分析或者以存档为目的。

9.6.2 解决方案

本单元定位配方主题、输入目标或简短方案:9.6.2 解决方案 将数据以方便的JSON格式存储于文本文件中。

9.6.3 讨论

小型数据可保存为明确UTF-8编码的JSON快照,加载还需区分文本读取与对象反序列化。

本地快照分离获取与分析关联本项背景,实质主要讲解在对应位置。

原书依据 · 3 处
读出JSON文本还需反序列化

load_json函数实际返回文件文本,未调用json.loads恢复列表或字典。随后再json.dumps会把整个JSON文本当字符串再次编码,而非漂亮显示原对象;函数命名和扩展名不能改变返回类型。应先确定加载职责是读文本还是恢复数据,再让调用者按真实结果处理。

读出JSON文本还需反序列化保存独立卡片。

原书依据 · 1 处
文件编码与JSON转义分层

ensure_ascii决定JSON文字是否把非ASCII字符转义,文件encoding决定这些文字如何编码为字节。示例ensure_ascii=False配UTF-8文件保留可读中文,但不能保证任意错误编码输入都无异常。保存与加载双方应一致,并核对是否真正恢复了原始数据类型。

文件编码与JSON转义分层保存独立卡片。

原书依据 · 1 处

9.7 使用MongoDB存储和访问JSON数据

本单元定位配方主题、输入目标或简短方案:9.7 使用MongoDB存储和访问JSON数据

9.7.1 问题

本单元定位配方主题、输入目标或简短方案:9.7.1 问题 你想要存储和访问Twitter API返回的JSON数据。

9.7.2 解决方案

本单元定位配方主题、输入目标或简短方案:9.7.2 解决方案 使用文档型数据库(比如MongoDB)以方便的JSON格式存储数据。

9.7.3 讨论

数据库读写助手把记录条件和字段投影分开,并让调用者选择游标消费还是一次物化,重复写入仍需身份规则。

查询筛选与字段投影分工

criteria决定哪些文档进入结果,projection决定返回这些文档的哪些字段;两者不是同一种过滤。只减少字段可能节省传输,却不必然减少扫描文档;应按查询与索引实际匹配解释性能。默认criteria为空表示没有该层筛选,不能因封装函数名“load”就假定只取少量记录。

查询筛选与字段投影分工保存独立卡片。

原书依据 · 1 处
返回游标与返回列表成本不同

返回游标允许调用者分批迭代,返回[item for item in cursor]则消费全部结果并驻留在列表。后者方便小数据,但语料大时会增加内存需求;游标也需要在生命周期内正确消费和关闭,不能仅因数据来自数据库就认为内存成本消失。两种返回表示应写清契约。

返回游标与返回列表成本不同保存独立卡片。

原书依据 · 1 处
重复写入需要稳定记录身份

保存一批搜索结果并不自动按平台推文ID去重。重新获取数据并再次插入时,如果没有明确的唯一键与更新/冲突策略,就不能保证只保留一份同一消息;也要区分真正的新结果与重复快照。这里讨论原示例的写入契约,本轮没有执行外部数据库写入。

重复写入需要稳定记录身份保存独立卡片。

原书依据 · 1 处

9.8 使用信息流API对Twitter数据管道抽样

本单元定位配方主题、输入目标或简短方案:9.8 使用信息流API对Twitter数据管道抽样

9.8.1 问题

本单元定位配方主题、输入目标或简短方案:9.8.1 问题 你想要分析用户实时发表的推文,而不是通过搜索API查询可能稍微(或非常)过时的信息。或者,你想要积累一个特定话题数据,以便将来的分析。

9.8.2 解决方案

本单元定位配方主题、输入目标或简短方案:9.8.2 解决方案 使用Twitter的信息流API(http://bit.ly/1a1l1ya)对Twitter数据管道的公共数据抽样。

9.8.3 讨论

实时流提供持续到来的数据,按关键词过滤与总体随机抽样是不同的选样范围,持续消费还需处理边界。

流式过滤改变样本分布

按关键词track过滤的流只观察满足条件的内容,不能直接称作全网均匀随机样本或完整总量。书中1%描述属于当时流产品背景,不保证当前服务或这个filter调用的比例。持续接收与历史搜索分别有时间和可见范围,应保存来源与选样条件再解释趋势。

流式过滤改变样本分布保存独立卡片。

原书依据 · 1 处
持续消费要定义事件和停止边界

无限迭代流不会因为函数调用已返回就自动完成采集;需按目标定义何时停止、如何处理断连和哪些事件形状可当正文。示例直接取text依赖每项都有该字段,实际接入应核对所选协议而非假设任意返回都可同样下标。采集范围和失败缺口应进入后续分析说明。

持续消费要定义事件和停止边界保存独立卡片。

原书依据 · 1 处

9.9 采集时序数据

本单元定位配方主题、输入目标或简短方案:9.9 采集时序数据

9.9.1 问题

本单元定位配方主题、输入目标或简短方案:9.9.1 问题 你想要定期查询Twitter API来获取特定的结果或者流行的话题,并且存储数据以便时序分析。

9.9.2 解决方案

本单元定位配方主题、输入目标或简短方案:9.9.2 解决方案 如果9.8节介绍的信息流API无法使用,那么就使用Python内置的time.sleep函数,放在无限循环中发起查询并将数据存储于数据库(比如MongoDB)中。

9.9.3 讨论

轮询可积累时序快照,但循环参数、采集时间和查询返回时间不应混为一谈。

响应头也承载分页与配额关联本项背景,实质主要讲解在对应位置。

原书依据 · 3 处
声明参数必须进入实际控制

函数声明max_intervals却硬编码15决定停止,还接收mongo_conn_kw却未传给save_to_mongo。调用者改变这些参数不会控制实际次数或连接目的地;应沿参数到判断/调用的路径核对,不能用签名存在代替配置生效。示例本轮未执行,也未向默认库写入。

声明参数必须进入实际控制保存独立卡片。

原书依据 · 1 处
轮询时间不等于事件时间

本地now是发起这次采集附近的时间,不等于推文或趋势的发生/统计时间;API与存储耗时再加sleep,使两次采集间隔也不必精确等于secs_per_interval。时序分析应区分采集时刻、数据时间与时区,并记录迟到/失败,不能把带时间的集合名当完整时间语义。

轮询时间不等于事件时间保存独立卡片。

原书依据 · 1 处

9.10 提取推文实体

本单元交代配方主题、问题或简短方案:9.10 提取推文实体

9.10.1 问题

本单元交代配方主题、问题或简短方案:9.10.1 问题 你想要提取实体,比如@username的提到信息、#hashtags主题标签信息以及推文中的URL以作分析。

9.10.2 解决方案

本单元交代配方主题、问题或简短方案:9.10.2 解决方案 从推文的entities域中提取实体。

9.10.3 讨论

实体元数据保留提到、标签、URL等结构,但可选字段须在每条记录自己的范围内判断。

可选字段要逐条检查

media并非每条推文都有。示例在各列表推导之后检查遗留的status,再决定是否读取所有记录的media:在旧Python中可能只由末项决定整批是否提取,也可能对其他缺字段记录报错;Python3的推导变量通常不泄露,甚至无法取得该变量。应把存在性判断放回当前记录的提取步骤,不能用一项的形状代表整批。

可选字段要逐条检查保存独立卡片。

原书依据 · 1 处
链接展示值与访问值分开

同一URL实体可同时提供缩短链接、展开链接以及更友好的展示文字。展示值服务阅读,不能默认它就是可访问的完整地址或去重键;统计前应确定选用哪个字段及其规范化规则。书内选择expanded_url提取,不能因此保证不同展开地址必然指向不同资源。

链接展示值与访问值分开保存独立卡片。

原书依据 · 1 处

9.11 特定的推文范围内查找最流行的推文

本单元交代配方主题、问题或简短方案:9.11 特定的推文范围内查找最流行的推文

9.11.1 问题

本单元交代配方主题、问题或简短方案:9.11.1 问题 你想要在查询到的推文的部分结果中(或者其他一些推文,比如某个用户的推文)查找最流行的推文。

9.11.2 解决方案

本单元交代配方主题、问题或简短方案:9.11.2 解决方案 分析推文的retweet_count域,看看这个推文有没有被转推以及被转推的次数。

9.11.3 讨论

热度指标来自所选行为和时间口径;筛出超过阈值的数据并不等于已按热度排序。

观察者状态不等于转推类型关联本项背景,实质主要讲解在对应位置。

原书依据 · 2 处
热度取决于权重和时间

转推数、点赞数可以作为不同的行为信号,组合分数的权重表达研究者对目标的取舍,并非客观通用常数。不同发布时间还意味着不同的累积机会,可考虑时间处理,但必须说明公式与窗口。书中的1.0与0.1只是示意,未验证预测或因果效果。

热度取决于权重和时间保存独立卡片。

原书依据 · 1 处
通过阈值不等于完成排序

函数只保留转推数严格大于阈值的记录,并保持原输入的相对次序;它没有执行按计数排序,也不包含恰好等于阈值的项。调用者若要求排行榜,应另行规定排序、并列规则和时间范围,不因函数名popular就认为结果已由高到低。

通过阈值不等于完成排序保存独立卡片。

原书依据 · 1 处

9.12 特定的推文范围内查找最流行的推文实体

本单元交代配方主题、问题或简短方案:9.12 特定的推文范围内查找最流行的推文实体

9.12.1 问题

本单元交代配方主题、问题或简短方案:9.12.1 问题 你想要查找有没有流行的推文实体,比如@username的提到信息、#hashtags标签信息或者URL,这会让你看到推文的本质。

9.12.2 解决方案

本单元交代配方主题、问题或简短方案:9.12.2 解决方案 提取推文实体并列出,对它们进行计数并过滤掉那些没有达到最小阈值的推文实体。

9.12.3 讨论

统计实体频次前应保留实体类型,避免把不同命名空间中的同一文字合成一个键。

频次排名不等于影响力关联本项背景,实质主要讲解在对应位置。

原书依据 · 3 处
实体统计键要保留类型

代码把提到名、标签、链接、媒体和股票符号展平成裸字符串后计数。同一文字若出现在不同实体类型中,会落入同一Counter键,无法再解释为某一种实体的热度。可用实体类型和值的组合表示身份;还需区分出现次数与包含它的消息数或用户数,后两者需要在相应范围去重。

实体统计键要保留类型保存独立卡片。

原书依据 · 1 处

9.13 对频率分析制表

本单元交代配方主题、问题或简短方案:9.13 对频率分析制表

9.13.1 问题

本单元交代配方主题、问题或简短方案:9.13.1 问题 你想要对频率分析的结果制表,以便轻易地掠过某些结果或者使结果以更方便阅读的格式展示。

9.13.2 解决方案

本单元交代配方主题、问题或简短方案:9.13.2 解决方案 使用prettytable包可以轻易地建立能够加载一行一行的信息的对象,每列还能以固定宽度展示表格。

9.13.3 讨论

表格列名与对齐改善阅读,不改变原有统计口径或数据真实性。

表格排版不改变统计结果关联本项背景,实质主要讲解在对应位置。

原书依据 · 2 处

9.14 查找转推了状态的用户

本单元交代配方主题、问题或简短方案:9.14 查找转推了状态的用户

9.14.1 问题

本单元交代配方主题、问题或简短方案:9.14.1 问题 你想查找所有曾经转推过某条状态的用户。

9.14.2 解决方案

本单元交代配方主题、问题或简短方案:9.14.2 解决方案 使用GET retweeters/ids API来查找哪些用户曾经转推过某条状态。

9.14.3 讨论

原生转推保留原帖归属,但会折叠中间转发者,因此不能据此还原谁通过谁看到了消息。

转推包装要分清两位作者关联本项背景,实质主要讲解在对应位置。

原书依据 · 3 处
转推归属不等于曝光路径

示例中后一个用户从中间用户的时间线看到原帖再原生转推,计数与归属仍指向原帖作者,中间曝光关系不会完整保留在最终归属中。由转推用户列表可研究所见原生转推,却不能直接重建真实传播链。手工复制加RT或via还属于另一类引用,需要另设识别与不确定性说明。

转推归属不等于曝光路径保存独立卡片。

原书依据 · 1 处

9.15 提取转推的属性

本单元交代配方主题、问题或简短方案:9.15 提取转推的属性

9.15.1 问题

本单元交代配方主题、问题或简短方案:9.15.1 问题 你想要查看推文原始的属性。

9.15.2 解决方案

本单元交代配方主题、问题或简短方案:9.15.2 解决方案 使用分析140个字符的推文的正则表达式启发式方法来分析“RT@SocialWebMining”或“(via@SocialWebMining)”这样的展示格式。

9.15.3 讨论

文本中的RT与via可以提供归属线索,但正则命中不证明原始作者或完整传播顺序。

手工引用需要启发式识别关联本项背景,实质主要讲解在对应位置。

原书依据 · 2 处

9.16 创建健壮的Twitter请求

本单元交代配方主题、问题或简短方案:9.16 创建健壮的Twitter请求

9.16.1 问题

本单元交代配方主题、问题或简短方案:9.16.1 问题 在收集用于分析的数据过程中,你会碰到一些需要按每个实际情况来处理意想不到的HTTP错误,从超出访问速率上限限制(429错误)到一向很棘手的“fail whale”(503错误)。

9.16.2 解决方案

本单元交代配方主题、问题或简短方案:9.16.2 解决方案 编写一个通用的API封装函数来提供可以有效控制各种HTTP错误代码的抽象逻辑。

9.16.3 讨论

请求包装按错误含义决定返回、等待或失败;透明重试必须说明终止、延迟和结果契约。

重试应区分失败类型

示例将未授权和未找到返回None,将限流转为等待,将部分服务端错误递增等待,其他错误继续抛出。它体现按失败含义处理的思路,不能把所有异常无限重放。调用者还须区分真正的空结果与请求失败后返回None,并依据操作是否可安全重试决定是否再次提交。

重试应区分失败类型保存独立卡片。

原书依据 · 1 处
重试计数要定义累计范围

网络错误累加error_count,但遇到TwitterHTTPError会将其清零;这只能限制特定连续网络错误序列,不能保证整个任务最多失败max_errors次。服务端错误另受等待上限约束,限流分支则可能反复固定等待。应明确总时限、总次数或每类错误预算,避免把其中一个局部计数当全局终止保证。

重试计数要定义累计范围保存独立卡片。

原书依据 · 1 处
退避等待不能代替限额依据

对部分服务端错误把等待乘1.5属于逐步退避;固定等待十五分钟则假定该端点的限流窗口。两者处理不同原因,均不证明下一次请求必然成功。实际接入应核对所用协议、响应中的限额或重试提示以及任务截止时间,避免让封装隐藏等待成本。

退避等待不能代替限额依据保存独立卡片。

原书依据 · 1 处

9.17 获取用户个人资料信息

本单元交代配方主题、问题或简短方案:9.17 获取用户个人资料信息

9.17.1 问题

本单元交代配方主题、问题或简短方案:9.17.1 问题 你想要根据一个或多个用户的ID或昵称获取他们的个人资料信息。

9.17.2 解决方案

本单元交代配方主题、问题或简短方案:9.17.2 解决方案 通过GET users/lookup API,一次使用100个ID或昵称来获取用户完整的个人资料。

9.17.3 讨论

按ID或昵称批量查询资料时,输入互斥、空集合、批次返回和缺失记录应各自有明确契约。

输入互斥不等于输入有效

异或判断只保证两个参数中恰有一个不是None,不能证明它是非空、类型正确或内容有效。随后items = screen_names or user_ids按真值取值:传空screen_names且user_ids为None仍通过断言,却把items设为None并在len处失败。输入存在性、空集合语义和合法值校验需要分开。

输入互斥不等于输入有效保存独立卡片。

原书依据 · 1 处
批量资料要按身份对回结果

每批最多处理指定数量的标识,结果按返回对象的ID或昵称建字典,而不是假定与请求位置一一对应。还应处理请求失败返回None、账号缺失或昵称改变,并记录哪些请求标识没有匹配结果;一批返回成功不证明整批身份都存在或可见。字典键选择也决定同一用户的稳定识别方式。

批量资料要按身份对回结果保存独立卡片。

原书依据 · 1 处

9.18 从任意的文本中提取推文实体

本单元定位配方的主题、输入目标或简短方案:9.18 从任意的文本中提取推文实体

9.18.1 问题

本单元定位配方的主题、输入目标或简短方案:9.18.1 问题 你想要分析任意文本并且提取推文实体,例如@username提到的信息,#hashtags主题标签信息以及其中可能出现的URL。

9.18.2 解决方案

本单元定位配方的主题、输入目标或简短方案:9.18.2 解决方案 使用第三方的包比如twitter_text来从任意文本中提取推文实体,比如历史推文档案可能不像现在v1.1API提供的那样,它不包含推文实体。

9.18.3 讨论

当原始文本没有结构化实体字段时,可用专门提取器识别候选并保留它在原文中的位置。

文本实体应保留提取位置

带索引的实体提取同时返回实体候选及其原文范围,便于回到上下文验证、定位高亮或发现误识别。它与平台直接提供的实体元数据来源不同,规则和索引单位应按具体版本确认;不能因识别出@名字就证明其身份或当前账号存在。

文本实体应保留提取位置保存独立卡片。

原书依据 · 1 处

9.19 获得用户所有的好友和关注者

本单元定位配方的主题、输入目标或简短方案:9.19 获得用户所有的好友和关注者

9.19.1 问题

本单元定位配方的主题、输入目标或简短方案:9.19.1 问题 你想要获得Twitter用户(可能是很受欢迎的用户)所有的好友和关注者。

9.19.2 解决方案

本单元定位配方的主题、输入目标或简短方案:9.19.2 解决方案 使用9.16节介绍的make_twitter_request函数,考虑到有时关注者人数可能超过预先定义的限制,所以简化对ID获取的处理。

9.19.3 讨论

沿next_cursor累积两类ID并在返回前切片,调用方仍需知道是否完整获取以及失败停在哪里。

批次上限不等于精确保留数关联本项背景,实质主要讲解在对应位置。

偏应用预置参数而不执行关联本项背景,实质主要讲解在对应位置。

原书依据 · 5 处
分页返回需要说明完成程度

循环可因数量达到上限、cursor耗尽或请求返回None而停止,但函数只返回两个ID列表,不附停止原因。调用者因此不能仅凭列表非空判断已收齐,空列表也可能是不可访问。应把目标上限、实际数量、终止原因和续传位置一起记录,按请求范围解释完整性。

分页返回需要说明完成程度保存独立卡片。

原书依据 · 1 处
长任务检查点要支持恢复

逐批持久化可减少异常导致的结果丢失,但恢复还需要保存当前查询身份、已处理批次、续页位置和去重依据。只把最终列表写入数据库,或者仅有中间ID而没有游标,不能保证能从中断处继续且不重复计数。检查点与最终完成标记应区分。

长任务检查点要支持恢复保存独立卡片。

原书依据 · 1 处

9.20 分析用户的好友和关注者

本单元定位配方的主题、输入目标或简短方案:9.20 分析用户的好友和关注者

9.20.1 问题

本单元定位配方的主题、输入目标或简短方案:9.20.1 问题 你想要对用户的好友和关注者做一比较,进行基本的分析。

9.20.2 解决方案

本单元定位配方的主题、输入目标或简短方案:9.20.2 解决方案 使用集合操作,例如集合求交和集合求差,分析用户的好友和关注者。

9.20.3 讨论

对好友和关注者的ID集合求交与定向求差,可以先缩小后续分析范围。

集合重叠不保留频次排序关联本项背景,实质主要讲解在对应位置。

原书依据 · 4 处
集合差的方向决定关系含义

若F是我关注的账号,G是关注我的账号,F交G是互关;F减G是我关注而未关注我的账号,G减F则反过来。交集交换操作数不变,差集通常不同。集合分析去除了重复ID,解释仍受两边采集时间与完整性影响,互关本身也不能证明现实亲密程度。

集合差的方向决定关系含义保存独立卡片。

原书依据 · 1 处

9.21 获取用户的推文

本单元定位配方的主题、输入目标或简短方案:9.21 获取用户的推文

9.21.1 问题

本单元定位配方的主题、输入目标或简短方案:9.21.1 问题 你想要获得所有用户的最新推文,以备分析之用。

9.21.2 解决方案

本单元定位配方的主题、输入目标或简短方案:9.21.2 解决方案 使用GET statuses/user_timeline的API入口来检索一个用户多达3200的最近推文。考虑到这一系列API请求可能会超出访问速率上限或者会在过程中遇到HTTP错误,最好有一个强大的API包装函数,如make_twitter_request来协助(如9.16节所介绍的)。

9.21.3 讨论

用户时间线分批获取需要避免ID边界重复,并在每一轮同样处理不可访问或空结果。

API数据偏差关联本项背景,实质主要讲解在对应位置。

原书依据 · 11 处
续页边界要避免重复与遗漏

示例取上一批最小推文ID再减一,试图从其之前继续查询,从而避免再次包含边界项。这个规则依赖该历史端点的包含边界和ID语义,不能直接套给任意游标协议。批次少于请求条数也未必表示结束,书中指出删除和筛选可能造成不足;应以明确的续页或终止条件判断。

续页边界要避免重复与遗漏保存独立卡片。

原书依据 · 1 处
失败返回要覆盖每轮处理

首次请求返回None时函数转换为空列表,但后续请求没有同样处理就直接拼接并求len;后续遇到401等返回None会失败。错误处理必须覆盖每次使用结果的路径,而不是只在循环入口做一次。部分结果应连同失败位置交还调用者,不能静默当作完整时间线。

失败返回要覆盖每轮处理保存独立卡片。

原书依据 · 1 处

9.22 爬取好友关系图

本单元定位配方的主题、输入目标或简短方案:9.22 爬取好友关系图

9.22.1 问题

本单元定位配方的主题、输入目标或简短方案:9.22.1 问题 你想要获取用户的关注者的ID、关注者的关注者的ID、关注者的关注者的那些关注者的ID以此类推,作为网络分析的一部分。本质上也就是要爬取一个Twitter上的“关注”好友关系图。

9.22.2 解决方案

本单元定位配方的主题、输入目标或简短方案:9.22.2 解决方案 使用广度优先搜索策略,系统地获取好友信息,可以相当容易地解释为在网络分析中的图谱。

9.22.3 讨论

分层爬图必须将当前节点的返回邻居正确解包、存储和放入下一层,并控制重复与范围。

队列驱动逐层图遍历关联本项背景,实质主要讲解在对应位置。

分支深度共同决定遍历规模关联本项背景,实质主要讲解在对应位置。

原书依据 · 4 处
邻居批次应归属于当前节点

帮助函数返回好友列表与关注者列表的二元组;内层却未解包,随后next_queue += follower_ids把两份列表作为元素加入,而非追加关注者ID。写库时又读取next_queue代替刚取得的follower_ids,使存储映射也不对应当前fid。应沿返回结构到当前节点映射逐步核对,不能因外形像广度优先就认为层级正确。

邻居批次应归属于当前节点保存独立卡片。

原书依据 · 1 处
爬图须区分已发现和待处理

按层切换队列不自动去重;同一账号被多个节点关注或形成环时,仍可能重复入队、重复请求。为明确的图身份维护已发现/已处理集合,再决定是否获取邻居;同时保留关系边,不能因节点已处理就把真实的多条关系误删。深度和采样边界也应随结果记录。

爬图须区分已发现和待处理保存独立卡片。

原书依据 · 1 处

9.23 分析推文内容

本单元定位配方的主题、输入目标或简短方案:9.23 分析推文内容

9.23.1 问题

本单元定位配方的主题、输入目标或简短方案:9.23.1 问题 给定一组推文,你想要针对每个140个字符的内容做一些粗略的分析,以获得更好的感知讨论主旨以及推文本身表达的观点。

9.23.2 解决方案

本单元定位配方的主题、输入目标或简短方案:9.23.2 解决方案 使用简单的统计,如词汇丰富性和每个推文的平均词数,在理解语言本质过程中发现最基本的观点。

9.23.3 讨论

词型比和每条平均词数是观察语料的简单统计,必须结合切词、空集合和消息构成解释。

词型比例依赖语料和切词关联本项背景,实质主要讲解在对应位置。

平均词数不同于平均词长关联本项背景,实质主要讲解在对应位置。

空语料需要定义统计结果关联本项背景,实质主要讲解在对应位置。

原书依据 · 6 处

9.24 提取链接目标摘要

本单元定位配方的主题、输入目标或简短方案:9.24 提取链接目标摘要

9.24.1 问题

本单元定位配方的主题、输入目标或简短方案:9.24.1 问题 你想要粗略地理解链接目标(如提取推文实体的URL)所表达的内容以获得推文的本质和Twitter用户兴趣上的见解。

9.24.2 解决方案

本单元定位配方的主题、输入目标或简短方案:9.24.2 解决方案 将链接指向的内容概括为几句话,达到可以很快浏览(或从另外角度进行更扼要的分析)而不用阅读整个网页的目的。

9.24.3 讨论

网页正文抽取后用频词密集簇给句子打分,再按阈值或TopN抽取原句;既有实现误差仍需保留。

抽取摘要保留原句而非生成关联本项背景,实质主要讲解在对应位置。

最高中间值必须写入最终结果关联本项背景,实质主要讲解在对应位置。

首次出现位置不代表全部出现关联本项背景,实质主要讲解在对应位置。

排名选句后恢复原文顺序关联本项背景,实质主要讲解在对应位置。

统计阈值不能保证摘要长度关联本项背景,实质主要讲解在对应位置。

原书依据 · 10 处

9.25 分析用户收藏的推文

本单元定位配方的主题、输入目标或简短方案:9.25 分析用户收藏的推文

9.25.1 问题

本单元定位配方的主题、输入目标或简短方案:9.25.1 问题 你想要通过检查一个人收藏的推文,了解更多关于这个人在意的见解。

9.25.2 解决方案

本单元定位配方的主题、输入目标或简短方案:9.25.2 解决方案 使用GET favorites/list API入口获取一个用户收藏的推文并随后使用技术手段来检测、提取和计算推文实体以刻画其内容。

9.25.3 讨论

收藏是有条件的行为信号,不能无条件当作真实兴趣全集;实体统计仍受样本窗口限制。

收藏行为只提供兴趣线索

有人把收藏当书签,也可能有其他用途,因此收藏内容只是可见行为的一个代理,不保证穷尽其喜好或证明态度。此配方只取一批至多200条示例,再做实体频次;不能把一批当全部历史,或把内容变化直接当兴趣变化而忽略使用方式与时间窗口。

收藏行为只提供兴趣线索保存独立卡片。

原书依据 · 1 处

9.26 本章小结

本章把采集、续页、缓存、实体提取和统计拼成可复用配方,结尾鼓励通过源码社区扩展。

9.27 推荐练习

练习建议把接口观察、关系图、内容相似度与可视化组合成有目标的分析。

9.28 在线资源

在线资源汇总本章API、库及协议入口。

第三部分 附录

附录分为环境、OAuth背景与Python/Notebook用法提示。

附录A 关于本书虚拟机体验的信息

虚拟机把跨平台依赖组合固定在共同环境中,降低首次搭建的差异。

固定依赖减少配置干扰关联本项背景,实质主要讲解在对应位置。

原书依据 · 3 处

附录B OAuth入门

附录B交代OAuth交互授权示例位于配套Notebook,本页给出阅读入口。

概述

OAuth为代表用户访问受保护资源提供授权框架,权限范围与实现版本仍由具体服务约束。

授权令牌不等于用户密码关联本项背景,实质主要讲解在对应位置。

令牌存续受授权状态约束关联本项背景,实质主要讲解在对应位置。

原书依据 · 9 处

OAuth 1.0a

OAuth1的临时凭证、用户批准和最终凭证有不同职责,请求完整性与传输机密性也应分开。

临时凭证与最终令牌分工关联本项背景,实质主要讲解在对应位置。

授权令牌不等于用户密码关联本项背景,实质主要讲解在对应位置。

原书依据 · 9 处

请求签名不等于内容加密

附录把OAuth1的签名称为信息加密,容易误认为请求内容因此保密。签名主要用于验证请求完整性;RFC5849第4.2节明确协议本身不保证内容机密性,敏感资源仍需传输层保护。不要把HMAC等签名过程当作加密整个请求的通道。外部规范核对只支持此项澄清,不表示已实现或审计授权系统。

请求签名不等于内容加密保存独立卡片。

原书依据 · 1 处

OAuth 2.0

OAuth2按用例区分授权流程;应用自身凭证与用户密码不同,不可用笼统的账号密码说法替代角色。

应用凭证不等于用户密码

客户端凭证授权使用应用自己的凭证向授权服务器取得访问令牌;它不是要求某个用户把登录密码交给应用。RFC6749第4.4节将其范围限定于客户端控制或预先安排的资源,并限机密客户端。附录把应用凭证写成“用户账号和密码”容易混淆,应按角色和所用流程解释,而非把OAuth2视为一种统一的密码交换。

应用凭证不等于用户密码保存独立卡片。

原书依据 · 1 处

附录C Python和IPython Notebook的使用技巧

附录C提示读者通过配套Notebook和Python教程补足语法与交互环境基础。

封面介绍

封面动物介绍讲述土拨鼠的习性与民俗背景,不参与本书技术主线。

跨章综合

全书第一条联系是“身份与单位先于算法”。账号不是现实个人,仓库短名不等于全局身份,地址数不等于邮件数,词型不等于token,实体裸字符串还可能跨类型碰撞。没有先界定单位,集合、Counter、聚合或图中心性即使算对,也可能回答另一个问题。

第二条联系是“表示与采样共同塑造结果”。标题归一化、分词、去重、n-gram、文档向量和图的边方向,决定哪些差异被保留;接口窗口、授权范围、续页上限与截断决定哪些记录被看见。结果应连同这两层条件保存,不能把未返回解释成不存在,或从有限子图直接推断总体结构。

第三条联系是“代理指标需要边界”。点赞、收藏、关注、星标、词频、相似度与共现分别提供线索,不能直接证明能力、亲密、影响、立场或因果。不同中心度回答不同结构问题;RDF规则只在给定事实和规则内推导,并不会自动验证世界。精确率/召回率及未见数据评估帮助把看似合理的输出转成可检验问题。

最后,工具抽象不取消输入输出契约。请求封装仍有失败、重试与停止条件;游标不等于已物化列表;JSON文本不等于反序列化对象;批量处理必须把结果对应回原记录。书内代码出现的变量遗留、数组去重和中间值未采用等误差,都提醒读者沿完整数据链核对,而不把打印结果或函数名称当正确性证据。以上为已读全文的归纳,样例未执行。

发散与实践

本次采用两项有明确对象的读者实践:ideas/idea-001-深读文档词权重计算.md对照官方NLTK 3.9.2固定标签解释TF-IDF公式与缓存,已准备首轮源码映射;ideas/idea-002-整理邮件分析口径清单.md把本轮第6章卡片整理为导入前检查步骤,已填写五项初表。

两张实践卡交付的是计划和首轮材料,完整源码深读、合成样本与运行验证仍待执行。没有采集真实社交账号或私人邮箱,没有运行旧API、数据库或NLP示例。未采用全平台采集器、真实画像、付费数据比较和完整分析网站,因为当前理解目标不需要这些额外工程或未经核验对象。

生成进度与管理记录

社交网站的数据挖掘与分析(原书第2版)

类别:社交网络数据分析类

内容形态:操作手册型(以社交平台 API、图谱、文本与聚类等案例组织数据采集和分析实践)。

四象限结论:工程实践(高浓度 + 低稳定性)

阶段一:整体评级

四象限结论:工程实践(高浓度 + 低稳定性) 判断理由:本书把社交平台数据采集、社交图谱、文本分析、聚类和语义网等方法放在真实平台案例中讲解,信息浓度较高;但 Twitter、Facebook、LinkedIn、Google+ 等 API 和授权机制高度绑定当时生态,稳定性偏低。可保留的是数据建模、偏差识别和网络分析思维。

历史阶段二:章节重点确认(旧5卡阶段,当前进度以下方恢复记录为准)

章节号 章节标题 精读/略读 状态(pending/done) 卡片数
00 序幕 略读 done 0
01 第1章 挖掘Twitter:探索热门话题、发现人们的谈论内容等 精读 done 2
02 第2章 挖掘Facebook:分析粉丝页面、查看好友关系等 精读 done 0
03 第3章 挖掘LinkedIn:分组职位、聚类同行等 精读 done 1
04 第4章 挖掘Google+:计算文档相似度、提取搭配等 精读 done 1
05 第5章 挖掘网页:使用自然语言处理理解人类语言、总结博客内容等 精读 done 0
06 第6章 挖掘邮箱:分析谁和谁说什么以及说的频率等 精读 done 0
07 第7章 挖掘GitHub:检查软件协同习惯、构建兴趣图谱等 精读 done 0
08 第8章 挖掘带标记语义网:提取微格式、推断资源描述框架等 精读 done 1
09 第9章 Twitter实用指南 精读 done 0
11 附录A 关于本书虚拟机体验的信息 略读 done 0
12 附录B OAuth入门 略读 done 0
13 附录C Python和IPython Notebook的使用技巧 略读 done 0

来源说明

本书来自合集 EPUB《OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)》;合集 spine 范围为 51..160(真实1起始编号;旧50..159为0起始偏移),已按单本书独立建目录与卡片。

类别清单核对(社交网络数据分析类)

必答维度 覆盖状态 已有卡片/说明
数据采集、授权与样本偏差 已覆盖 [[API数据偏差]]
关系网络的数据建模 已覆盖 [[社交图谱]]
内容、文本与语义表示 已覆盖 [[文本相似度]]、[[语义网抽取]]
社群、聚类与分群探索 已覆盖 [[聚类探索]]
网络指标、影响力与传播动态 未覆盖 当前卡片未具体展开中心性、扩散或时间动态指标。
分析验证、可视化与解释边界 未覆盖 当前卡片未覆盖结果验证或图谱可视化方法。
隐私、伦理与平台规则约束 未覆盖 当前卡片仅说明接口偏差,未具体展开隐私、同意和合规约束。

2026-10-27 本批恢复

执行模式:light

本次实际执行版本:book-workflow v4 / book-notes v23;保留历史首次生成版本及5张原卡身份。

继承原有工程实践(高浓度、低稳定性)评级与操作手册型主形态:平台采集、图谱、文本和聚类方法有具体说明,但示例接口绑定当时平台生态和Python2.7。历史仅5卡及大量零卡done不作为有效覆盖;全部实质正文、练习、在线资源、附录重新纳入计划,不因为过时先跳过概念解释。

建档进度:done

实践候选筛选:done

当前章节进度
章节号 章节标题 状态 卡片数
spine-56 译者序 done 0
spine-58 前言 done 3
spine-59 第一部分 社交网络导引 done 0
spine-60 序幕 done 0
spine-61 第1章 挖掘Twitter:探索热门话题、发现人们的谈论内容等 done 0
spine-62 1.1 概述 done 0
spine-63 1.2 Twitter风靡一时的原因 done 3
spine-64 1.3 探索Twitter API done 15
spine-65 1.4 分析140字的推文 done 18
spine-66 1.5 本章小结 done 0
spine-67 1.6 推荐练习 done 0
spine-68 1.7 在线资源 done 0
spine-69 第2章 挖掘Facebook:分析粉丝页面、查看好友关系等 done 0
spine-70 2.1 概述 done 0
spine-71 2.2 探索Facebook的社交图谱API done 11
spine-72 2.3 分析社交图谱联系 done 21
spine-73 2.4 本章小结 done 0
spine-74 2.5 推荐练习 done 0
spine-75 2.6 在线资源 done 0
spine-76 第3章 挖掘LinkedIn:分组职位、聚类同行等 done 1
spine-77 3.1 概述 done 1
spine-78 3.2 探索LinkedIn API done 3
spine-79 3.3 数据聚类速成 done 34
spine-80 3.4 本章小结 done 0
spine-81 3.5 推荐练习 done 0
spine-82 3.6 在线资源 done 0
spine-83 第4章 挖掘Google+:计算文档相似度、提取搭配等 done 0
spine-84 4.1 概述 done 0
spine-85 4.2 探索Google+API done 9
spine-86 4.3 TF-IDF简介 done 7
spine-87 4.4 用TF-IDF查询人类语言数据 done 27
spine-88 4.5 本章小结 done 0
spine-89 4.6 推荐练习 done 0
spine-90 4.7 在线资源 done 0
spine-91 第5章 挖掘网页:使用自然语言处理理解人类语言、总结博客内容等 done 0
spine-92 5.1 概述 done 0
spine-93 5.2 抓取、解析、爬取网页 done 9
spine-94 5.3 通过解码语法来探索语义 done 16
spine-95 5.4 以实体为中心的分析:范式转换 done 5
spine-96 5.5 人类语言数据处理分析的质量 done 5
spine-97 5.6 本章小结 done 0
spine-98 5.7 推荐练习 done 0
spine-99 5.8 在线资源 done 0
spine-100 第6章 挖掘邮箱:分析谁和谁说什么以及说的频率等 done 1
spine-101 6.1 概述 done 0
spine-102 6.2 获取和处理邮件语料库 done 19
spine-103 6.3 分析Enron语料库 done 14
spine-104 6.4 探索和可视化时序趋势 done 3
spine-105 6.5 分析你自己的邮件数据 done 3
spine-106 6.6 本章小结 done 0
spine-107 6.7 推荐练习 done 0
spine-108 6.8 在线资源 done 0
spine-109 第7章 挖掘GitHub:检查软件协同习惯、构建兴趣图谱等 done 1
spine-110 7.1 概述 done 0
spine-111 7.2 探索GitHub的API done 5
spine-112 7.3 使用属性图为数据建模 done 5
spine-113 7.4 分析GitHub兴趣图谱 done 18
spine-114 7.5 本章小结 done 0
spine-115 7.6 推荐练习 done 0
spine-116 7.7 在线资源 done 0
spine-117 第8章 挖掘带标记语义网:提取微格式、推断资源描述框架等 done 0
spine-118 8.1 概述 done 0
spine-119 8.2 微格式:易于实现的元数据 done 11
spine-120 8.3 从语义标记过渡到语义网:一个小插曲 done 0
spine-121 8.4 语义网:发展中的变革 done 9
spine-122 8.5 本章小结 done 0
spine-123 8.6 推荐的练习 done 0
spine-124 8.7 在线资源 done 0
spine-125 第二部分 Twitter实用指南 done 0
spine-126 第9章 Twitter实用指南 done 0
spine-127 9.1 访问Twitter的API(开发目的) done 0
spine-128 9.2 使用OAuth访问Twitter的API(产品目的) done 4
spine-129 9.3 探索流行话题 done 0
spine-130 9.4 查找推文 done 0
spine-131 9.5 构造方便的函数调用 done 1
spine-132 9.6 使用文本文件存储JSON数据 done 2
spine-133 9.7 使用MongoDB存储和访问JSON数据 done 3
spine-134 9.8 使用信息流API对Twitter数据管道抽样 done 2
spine-135 9.9 采集时序数据 done 2
spine-136 9.10 提取推文实体 done 2
spine-137 9.11 特定的推文范围内查找最流行的推文 done 2
spine-138 9.12 特定的推文范围内查找最流行的推文实体 done 1
spine-139 9.13 对频率分析制表 done 0
spine-140 9.14 查找转推了状态的用户 done 1
spine-141 9.15 提取转推的属性 done 0
spine-142 9.16 创建健壮的Twitter请求 done 3
spine-143 9.17 获取用户个人资料信息 done 2
spine-144 9.18 从任意的文本中提取推文实体 done 1
spine-145 9.19 获得用户所有的好友和关注者 done 2
spine-146 9.20 分析用户的好友和关注者 done 1
spine-147 9.21 获取用户的推文 done 2
spine-148 9.22 爬取好友关系图 done 2
spine-149 9.23 分析推文内容 done 0
spine-150 9.24 提取链接目标摘要 done 0
spine-151 9.25 分析用户收藏的推文 done 1
spine-152 9.26 本章小结 done 0
spine-153 9.27 推荐练习 done 0
spine-154 9.28 在线资源 done 0
spine-155 第三部分 附录 done 0
spine-156 附录A 关于本书虚拟机体验的信息 done 0
spine-157 附录B OAuth入门 done 2
spine-158 附录C Python和IPython Notebook的使用技巧 done 0
spine-160 封面介绍 done 0
当前非正文排除候选
spine项 类型 排除理由
51 封面 封面图片已实看,只有书名版次与动物装饰。
52 书名与版权页 版权页全文已读,用于作者、译者、年份和ISBN核验。
53 纯目录 纯目录全文已读,正文已按spine全部处理。
54 题辞 题辞全文已读,无展开技术方法。
55 出版商推广与评价 出版商介绍及赞语全文已读,无可验证技术机制。
57 译者简介 译者履历全文已读,不据履历生方法卡。
159 作者简介 作者履历全文已读,不作当前任职信息。
当前待关联术语
术语名 出现章节 一句话语境
指数级衰减 9.28 只提名为时间处理候选,没有公式或实证,不补造成方法。
Kruskal与minimum spanning tree 7.4.3 原文混入中心度复杂度的概念,保留最短路/MST区别;未读算法实现。
超图 7.3 脚注指出超边可连多个顶点,未展开算法。
Microdata 5.8 网页结构化标记提名,未展开规范。
置信区间 5.5 原书评估误差的统计概念提名,没有展开计算。
图灵测试 5.3 原书用来说明语言理解难度的背景提名。
旅行推销员问题 3.3.4 选址运输练习类比,未展开求解算法。
动态规划 3.3.4 仅在优化旁注提名,没有展开具体递推。
Dorling Cartogram 3.3.2 按近似区域位置放置数量圆,具体D3代码原书省略。
Jaccard指数 2.5 在推荐练习里作为相似性比较入口,尚未解释计算。
本体论 1.2 与分类法差异仅被提示,未展开。
JSON 前言 作为数据交换结构提名,后续平台数据中展开。
当前引用文献
标题 类型 出现章节 一句话语境
OAuth 2.0 框架 B 按用例有不同授权流程;本附录只概述背景,不完整展开规范。
BSON 框架 9.7 MongoDB文档的二进制表示提名,未展开完整类型规范。
Where On Earth ID 框架 9.3 本书趋势查询用的地域标识,未访问当前服务。
Flask 源码项目 9.2 本书Notebook授权回调的演示框架,未读实现或启动服务。
microformats2 & HTML5 presentation 课程 8.6 原书推荐的社区幻灯片,未观看。
PaySwarm 源码项目 8.6 网页支付案例的参考入口,未读设计或代码。
DBpedia 数据集 8.6 从Wikipedia提取结构化资料的项目提名,未下载或查询。
Notation3 (N3) 框架 8.4.2 例子所用事实与规则表示,未读完整语法规范。
Artificial Intelligence: A Modern Approach 书 8.4.2 Stuart Russell/Peter Norvig,原书推荐的一阶逻辑背景教材,未读。
Jena与Sesame 源码项目 8.4.2 Java语义网工具提名,未读实现。
FuXi 源码项目 8.4.2 书中Python规则推理入口,未读实现或执行。
A Comparison of Two Modelling Paradigms in the Semantic Web 论文 8.4.1 Peter Patel-Schneider与Ian Horrocks,原书比较建模范式的参考,未读全文。
Programming the Semantic Web 书 8.4 脚注给出语义定义来源,仅引用未读。
Cooking for Geeks 书 8.2.2 食物与技术的原书推荐,只提名未阅读。
hRecipe与hReview-aggregate 框架 8.2.2 菜谱/聚合评价微格式的本书示例,不是完整规范实现。
microform.at 框架 8.2.1 历史结构化数据抽取代理服务,未实际访问或验证现行状态。
geo微格式 框架 8.2.1 本书class-based坐标约定,未读完整新旧规范。
XFN与RelMeAuth 框架 8.2 关系标记与登录方案历史背景,未实现认证。
hCard与hCalendar 框架 8.2 联系信息与日历微格式,在hResume组合中继续说明。
Web Data Commons 数据集 8.2 原书从Common Crawl提取结构化数据的项目提名,未取数据。
microformats.org 文档项目 8.2 微格式约定的参考入口,未读完整规范。
Python线程同步与线程池 框架 7.7 原书参考清单提名,正文未展开具体并发实现。
Friendster ground-truth communities 数据集 7.6 图分析数据集提名,未下载或运行。
GitHub Archive 数据集 7.6 全局活动数据的练习入口,未读取数据。
Gephi 源码项目 7.4.5 交互图分析工具提名,未实际使用。
Graphviz 源码项目 7.4.5 图布局工具提名,未读实现。
RDF Schema、OWL、SPARQL 框架 7.3 语义网工具链提名,尚未展开。
Titan 源码项目 7.3 原书历史图数据库例子,不作当前选型推荐。
PyGithub 源码项目 7.2.1 本书GitHub客户端,后续按调用解释,未读固定版本实现。
Git 源码项目 7 分布式版本控制背景,本章未讲内部架构。
Snowball词干提取器 源码项目 6.7 全文索引内部学习入口,未读算法。
SIMILE Timeline 源码项目 6.7 时间轴展示工具提名,未执行。
JWZ邮件会话聚合算法 源码项目 6.7 邮件链重建练习入口,未读实现。
Graph Your Inbox Chrome extension 源码项目 6.5.3 历史可视化例子,截图按会话计数;本轮未安装或读取实现。
Google Mail XOAUTH/XOAUTH2 框架 6.5.1 区分旧consumer/token-secret代码与当前OAuth2 Bearer机制。
Python poplib/imaplib 源码项目 6.5 邮件协议客户端入口,imaplib返回/编号文档后续选读。
getmail 源码项目 6.5 导出邮件的命令行工具提名,未读源码或执行。
MongoDB distinct与$in 框架 6.3.2 本章地址集合与别名匹配入口,未执行。
The Enron scandal by the numbers 文章 6.3 背景统计参考,原书后续引用,未读原文。
Enron: The Smartest Guys in the Room 影片 6.3 原书推荐的背景资料,未观看。
PyMongo 源码项目 6.2.5 本书Python数据库客户端入口,后文按实际调用解释。
Envoy 源码项目 6.2.5 本书subprocess轻封装,用于收集命令输出;未读实现。
Python mailbox与email 源码项目 6.2.1 标准库邮件容器及MIME处理接口,所选Message方法文档已读。
RFC 4155 application/mbox 文档项目 6.2.1 生成时选读分隔格式与实现变体背景,Informational文档不是通用唯一标准。
MongoDB 源码项目 6 本章以文档为中心的存储查询工具,后文继续展开。
Enron邮件语料 数据集 6 本章历史公开数据分析案例,未下载原始数据。
d3-cloud 源码项目 5.8 标签云可视化入口,未读实现。
Carnegie Mellon Twitter NLP 源码项目 5.7 原书练习建议的工具入口,未读实现或执行。
GATE Twitter POS tagger 源码项目 5.7 原书练习建议的工具入口,未读实现或执行。
NLTK贝叶斯分类器 源码项目 5.7 原书练习建议的工具入口,未读实现或执行。
WordNet 源码项目 5.7 原书练习建议的工具入口,未读实现或执行。
The Louvre of the Industrial Age 文章 5.3.3 书内转载的摘要输入案例已全文阅读,未另取在线原文。
The Automatic Creation of Literature Abstracts 论文 5.3.3 H. P. Luhn,1958;原书摘要算法依据,本轮阅读的是书内介绍与代码,未读原论文。
Unsupervised Multilingual Sentence Boundary Detection 论文 5.3.2 Tibor Kiss与Jan Strunk关于句界方法的论文,原书推荐,本轮未读全文。
NLTK RegexpParser 框架 5.3.1 自定义分块语法工具提名,原书明确未展开。
Penn Treebank Project 数据集 5.3.1 词性标签体系的参考入口,按NNP/VBD/JJ解释,未读完整项目。
Google Knowledge Graph 框架 5.3 原书语义搜索背景,未读其实现。
Common Crawl 数据集 5.2 原书网页语料来源提名,未下载或核验现行规模。
feedparser 源码项目 5.2 RSS/Atom解析客户端,尚未读实现。
Boilerplate Detection Using Shallow Text Features 论文 5.2 原书说明boilerpipe的研究依据,本轮未读论文。
boilerpipe与python-boilerpipe 源码项目 5.2 网页正文/样板分离库及Python封装,未读实现。
Brown语料库 文档项目 4.7 原书统计与文本处理的语料入口,本轮未下载语料。
Scrapy 源码项目 4.6 网页采集练习入口,在第5章继续说明职责,未读取实现。
Khan Academy正态分布与中心极限定理视频 课程 4.4.4 原书提名的学习入口,本轮未观看。
Foundations of Statistical Natural Language Processing 书 4.4.4 原书推荐第五章作为搭配度量参考,本轮未读该书。
NLTK stem模块 框架 4.4.2 词形归并的改进提名,尚未解释具体算法。
Introduction to Information Retrieval 书 4.3 Christopher Manning、Prabhakar Raghavan与Hinrich Schütze著;原书推荐进一步阅读,本轮未读该书。
BeautifulSoup与BeautifulStoneSoup 源码项目 4.2.1 HTML解析及实体处理的历史用法,与当前安装包接口区分。
google-api-python-client 源码项目 4.2.1 书中服务/请求构造与执行客户端;未读固定版本源码。
Natural Language Processing with Python 书 4 原书推荐的NLTK详细教程,仅提名未读取。
GeoJSON在GitHub上的转换 文档项目 3.6 本章资源列表提名,非已读全文或现行平台承诺。
聚类算法教程 文档项目 3.6 本章资源列表提名,非已读全文或现行平台承诺。
LinkedIn字段选择器 文档项目 3.6 本章资源列表提名,非已读全文或现行平台承诺。
Bing地图API 文档项目 3.6 本章资源列表提名,非已读全文或现行平台承诺。
choropleth map 框架 3.5 原书推荐练习的入口,本轮未按该练习执行或读取实现。
geodict与Data Science Toolkit 框架 3.5 原书推荐练习的入口,本轮未按该练习执行或读取实现。
LinkedIn Labs InMaps 框架 3.5 原书推荐练习的入口,本轮未按该练习执行或读取实现。
GeoJSON 框架 3.5 原书推荐练习的入口,本轮未按该练习执行或读取实现。
KML 框架 3.3.4 书中地理标记交换格式,createKML实现未列出。
cluster Python包 源码项目 3.3.4 书中HierarchicalClustering/KMeansClustering与centroid入口,未读固定版本源码。
NLTK FreqDist 框架 3.3.3 频率分布工具,书中仅与Counter类比。
BigramAssociationMeasures与TrigramAssociationMeasure 框架 3.3.3 n-gram关联评分类型提名,尚未解释各评分算法。
NLTK 源码项目 3.3.3 自然语言工具箱,书内提供距离和频次接口;未执行示例。
geopy 源码项目 3.3.2 地理编码客户端,已读当前文档的服务职责与返回契约,未读取实现。
LinkedIn REST API与字段选择器文档 文档项目 3.2.1 书内历史接口参考,未把旧端点当现行API承诺。
python-linkedin 源码项目 3.2.1 原书包装HTTP调用的Python客户端;本轮未读取固定版本实现。
HTML meta元素 文档项目 2.6 原书资源列表的入口,本轮未由该列表读取全文。
RDFa 文档项目 2.6 原书资源列表的入口,本轮未由该列表读取全文。
PyLab 文档项目 2.6 原书资源列表的入口,本轮未由该列表读取全文。
NetworkX团算法 文档项目 2.6 原书资源列表的入口,本轮未由该列表读取全文。
Graph API参考手册 文档项目 2.6 原书资源列表的入口,本轮未由该列表读取全文。
FQL字段扩展和嵌套参考 文档项目 2.6 原书资源列表的入口,本轮未由该列表读取全文。
Facebook开发者分页文档 文档项目 2.6 原书资源列表的入口,本轮未由该列表读取全文。
D3.js示例库与教程 文档项目 2.6 原书资源列表的入口,本轮未由该列表读取全文。
D3.js 源码项目 2.3.2 书中展示层入口;没有把教程提名当已读布局实现。
NetworkX 源码项目 2.3.2 图建模、极大团枚举及节点链接数据转换;已读当前find_cliques接口文档,未执行示例。
Coca-Cola Leveraging Social to Drive Leadership in Social Media Marketing 文章 2.3.1 原书提示的另一营销调查线索,本轮未读取。
Coca-Cola and Procter and Gamble Lead the Way into the New Advertising Era of SocialTV…A Money Machine 文章 2.3.1 原书提示的营销调查线索,本轮未读取。
Facebook Insights 框架 2.3.1 书中页面管理者分析工具的提名,未展开实现。
facebook-sdk 源码项目 2.3 社区Python客户端;已读当前四入口及分页方法,未把当前master当书中固定版本。
Graph Search 框架 2.2.2 书中2013年平台产品的讨论,未作现行功能承诺。
Open Graph protocol 框架 2.2.2 网页对象元数据协议;已读官方基础属性与例子。
requests 源码项目 2.2.1 书内用来简化HTTP请求的Python库,本轮未读取实现。
Facebook平台政策 文档项目 2.2 作者要求开发者阅读的权限与约束入口,未据旧书推定现行条款。
Facebook Graph API Explorer 框架 2.2 书中交互构造查询及查看授权的工具,界面按历史示例。
Twitter信息流API与开发者守则 文档项目 1.7 历史资源与访问约束入口,未逐项读取或调用。
Twitter API1.1对象/搜索/限流文档 文档项目 1.7 历史平台文档链接集合,未当当前调用契约。
PyLab 框架 1.7 Matplotlib与科学计算交互入口,仅资源推荐。
IPython magic functions 框架 1.7 交互扩展语法入口,仅资源推荐。
Matplotlib 源码项目 1.4.5 绘制排名图和直方图;实际读取官方当前hist/loglog/plot选定参数,未运行。
Yahoo GeoPlanet WOE ID 源码项目 1.3.3 书内地点标识服务,当前可用性未核验。
On a Characteristic Property of All Real Algebraic Numbers(Cantor,1874) 论文 1.3.3 原书无穷集合插曲引文,未读取原论文。
OAuth 1.0 RFC5849 标准文档 1.3.2 用作客户端凭证与令牌授权边界核验,仅读选定段落。
Twurl 源码项目 1.3.2 原始HTTP交互工具提名,未读取实现。
Python Twitter Tools(twitter) 源码项目 1.3.2 书内twitter包;已读取其当前归档仓库部分构造器,非书内固定版本全读。
TweetDeck 源码项目 1.3.1 书内多列视图示例,未读取实现或核验当前服务。
创作最小可行著作的思考 公开文章 序幕 作者对建立虚拟机教学环境的进一步说明,未读取文章。
D3.js 源码项目 前言 整合可视化层的工具提名,未读取库实现。
Vagrant 源码项目 前言 本书预配置虚拟机工具,仅按书内用途解释,当前环境未搭建。
Python官方教程 文档项目 前言 作者建议的Python入门资料,未独立阅读。
Mining the Social Web Second Edition示例库 源码项目 前言 作者维护示例与虚拟机脚本;尚未联网核验入口及读取实现。
Weaving the Web 书 前言 Tim Berners-Lee关于Web与现实社交的引言,原著未读。
当前资金安全问题案例
问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明

整书笔记是本轮阅读正文与来源定位真源,本轮生成、导入对账与归档已齐备。

本次实践卡进度
序号 实践标题 实践方式 状态(pending/done) 关联章节 产出
1 深读文档词权重计算 实现深读 done 4 ideas/idea-001-深读文档词权重计算.md;源码初步映射
2 整理邮件分析口径清单 真实任务 done 6 ideas/idea-002-整理邮件分析口径清单.md;五项核查初表

筛选已结束:相近的图谱/接口/文本练习不逐题造卡,先用固定实现澄清公式,再用已有邮件材料收束数据口径。真实平台采集与完整应用暂不采用。两张计划已交付,现实执行未开展。

本次完整升级结果:103正文spine、248/248单元、292/292阅读片段、85/85图片、7项排除齐备;313张知识卡(原5张保留路径和身份、新308张),各有唯一primary,共448处原文出处。轻量模式:未执行笔记复核、独立审查及审查结果优化。旧精读/略读表与5卡结论仅保留历史,不作为本次完成依据。

本次导入与归档结果

313/313知识卡已导入且filed、编号非空;旧5张卡ID和路径保留,原先无编号、关系或主题成员。448处引用及来源、唯一primary、概览正文与逐卡文件hash均对账一致;全局249主题15779成员同步。pending软链0,无反向重复语义关系。2张实践计划及首轮材料已交付,完整实践未执行。light未执行笔记复核、独立审查及审查结果优化。

2026-11-14 v24完整恢复

本次实际执行 book-workflow v4 / book-notes v24 –mode light;保留首次Skill版本及历史记录。原EPUB与9991缓存资源、320历史交付文件核验一致,103正文项/248单元/292片段/85图的历史全文阅读成果有效复用,不声称本轮重新通读。313知识卡与448定位/出处保持;覆盖记录内容脉络采用原阅读时的逐单元解释,纠正开头待阅读旧摘要,登记表的名称与出现章节逐项核验有效,无需新增。2实践计划(实现深读、真实任务各1)及首轮材料复用;实践候选筛选done,完整实践未执行。平台与外部接口事实保留原核验日期和出版版本边界,本轮未重新联网或采集账号/邮件。轻量模式:未执行笔记复核、独立审查及审查结果优化。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。