来源书籍

Go并发编程实战

Skill 版本:未记录版本 455 张卡片

郝林 · 人民邮电出版社 · ISBN 9787115373984

全书导读

本书的价值在于把语言规则、系统背景、并发通信及共享状态工具连接到完整实例。本文已基于77项spine中的71项实质正文完成阅读,6项非正文按理由排除;66张内文图像和67条OCR亦已读取。作者郝林,ISBN9787115373984;原书以Go1.3为主要语境,出版日期与版次未有足够一致证据,保留未知。已知错误和版本差异在讲解处说明,全文阅读不等同已运行原书全部代码。

全书主线

全书沿“规则如何约束一个值”走到“协议如何约束多个活动”。前半部解释类型、调用和退出;中段明确进程、线程和运行时之间的分工;后半部把通道、锁、计数与队列组合为载荷发生器和爬虫。贯穿的问题是:输入是否有效、谁持有可变对象、什么事件证明完成、失败或取消后谁释放资源。下图是内容关系示意,框内是学习问题而非源码类型。

flowchart LR
 A[示意:语言规则] --> B[示意:控制与退出]
 B --> C[示意:测试与观察]
 C --> D[示意:系统并发背景]
 D --> E[示意:通信与同步协议]
 E --> F[示意:完整框架的生命周期]

I2 推荐序

推荐序把规范、源码和完整实例放在同一学习路径,提醒学习者不仅看语法,还要理解规则在工程中怎样共同作用。个人经历提供方向,不作为人人适用的效果证明。

学习语言时,规范和源码说明实现与规则,完整实例展示这些规则怎样共同作用。只记语法或只模仿运行结果都可能留下理解空白;可把同一机制在文档、实现和实例之间来回映射。推荐序的个人学习经历提供一种路径,不证明人人都必须通读所有标准库。 相关卡片:源码与实例互相解释机制。

原书依据 · 1 处

I3 前言

前言交代语言及开源协作的背景。本书以2014年前后的Go生态为语境,其中社区格局和版本判断不当作当前事实;机制仍可从明确的类型、通信及资源协议理解。

开放源代码让不同组织和地域的人能够检查、提出建议及共同开发同一项目。它提供协作的条件,不只是免费取得软件;是否产生更好结果,还取决于参与者、维护与治理。原书关于社区格局和版本发展的描述属于2014年观察,不能当作当前社区状态。 相关卡片:开源是共享代码的协作方式。

原书依据 · 1 处

I4 本书结构

本书从语言介绍和环境搭建进入词法、类型、控制流、测试与文档,再补进程线程背景,展开Go并发和同步,最终以爬虫框架整合。这里是章节路线,没有新的独立技术规则。

I5 目标读者

目标读者需要通过计算机基础、系统机制和实际编码补足语法之外的理解。本笔记依原书顺序讲解,并在已知旧规则和错误旁说明限制,避免把学习门槛变成一次性读完全部前置资料的要求。

高级工程能力除语言规则外,还依赖计算机组成、操作系统、工具和真实编码经验。学习可以按问题补周边知识,不必把所有前置资料一次读完;但不能把掌握语法当成已能解释并发与资源机制。目标读者段落给出的基础清单用于定位缺口,不是固定学习次序。 相关卡片:语言熟练还需周边基础。

原书依据 · 1 处

I6 关于示例代码

示例代码位于原书列出的goc2p项目入口,覆盖语言练习、载荷发生器和爬虫等。本次阅读本地EPUB并生成笔记,没有声称已下载、构建或运行全部原书项目;独立实践材料另有固定版本的官方源码入口。

I7 关于勘误

勘误说明提示读者把书中代码、文字和实际语言规则交叉核对。发现明确错误时,笔记在相应机制中就近校正;这不等同执行生成后的独立内容审查。

P1 第一部分 Go语言的世界

第一部分建立语言与工程环境的共同背景。它连接选择语言的理由、工具链布局与程序入口,为后续代码解释提供词汇;本部分引言没有独立规则,具体机制在第1、2章展开。

01 初识Go语言

Go的函数值、隐式接口与组合提供行为抽象,工程工具统一构建和测试入口。跨平台、并发支持及静态类型都具有依赖和使用条件,不能直接推出任意程序自动更快或无需迁移。学习应把语言规范、实现和实例连起来。

Go可面向不同操作系统与架构构建,减少业务代码移植工作;目标由工具链及所用依赖支持。涉及系统调用、cgo或平台文件的代码仍有条件,不是任何源码都无需修改、任何二进制都能跨系统运行。原稿对平台支持的表述属于Go1.3时点,实际目标需另行核验。 相关卡片:跨平台构建仍有目标条件。

函数是可保存、传递和返回的值,因此可把变化的行为作为参数或结果,而不是为每种策略复制调用流程。这为组合不同处理步骤提供工具,但不意味着整个Go程序都是纯函数;闭包还可能引用可变共享状态,需明确并发与生命周期。 相关卡片:函数作为值扩大行为组合。

Go根据方法集合判断类型是否满足接口,具体实现不必在定义时显式登记;类型嵌入用来组合,而不是建立传统类继承家谱。契约与实现由行为联系,便于调用方只依赖需要的方法;嵌入仍可能产生方法提升和命名冲突,不能理解为没有类型规则。 相关卡片:接口满足不要求类型声明绑定。

Go把构建、测试、运行和格式化纳入共同工具,使团队较容易重复开发流程和统一风格。工具提供一致入口,不自动证明代码正确或性能良好;仍需定义测试目标、构建输入和依赖版本。原文命令布局按当时工具链理解,不把旧目录和工具名单当永久契约。 相关卡片:统一工具降低协作差异。

语言取舍应围绕类型约束、依赖管理、并发、部署和团队能力比较。原稿将Go同C、Java和脚本语言比较的速度与库规模,属于作者时点判断;不能由静态/动态或编译/解释标签推出任意任务统一排名。所谓不支持泛型是Go1.3历史范围,不能沿用为当前事实。 相关卡片:语言比较须保留任务与版本。

规范和文档解释规则,动手编码让人遇到具体边界,再回到原理核对。交叉积累有助于把语法同设计思想联系起来;积累代码量本身不保证理解,关键是能说明实例为什么成立、在哪些条件下会改变。工具和资源是辅助,不能代替读者自己的问题与实践。 相关卡片:理论与编码交叉积累理解。

原书依据 · 6 处

02 Go语言环境搭建

工具链根与项目工作区承担不同职责;包、导入路径、初始化以及构建测试命令共同决定代码如何变成可运行产物。原书使用Go1.3的GOPATH布局,现代模块规则不能从旧命令外推;本章以职责和边界解释旧示例,而不操作用户环境。

原稿流程先取得对应OS/架构的Go工具链,解包到明确目录,把bin加入PATH,再验证命令可用。GOROOT代表工具链根,GOOS/GOARCH描述构建目标而非必然等于宿主。原文Go1.3包名、系统最低版本和手动GOROOT配置只是历史步骤,不作为当前安装要求;本轮不修改系统环境。 相关卡片:安装工具链先匹配目标平台。

原稿安装包中bin放命令、src放标准库及工具源码、doc放文档、test放自身测试,pkg按目标保存当时的归档和工具。区分职责有助于找接口证据及实现,实际目录布局会随版本变化;不能把安装包的pkg同自己的项目源码目录混为一谈。 相关卡片:工具链目录承担不同职责。

原稿Go1.3的GOPATH工作区以src组织源码、pkg保存目标平台归档、bin保存安装命令;GOROOT则是工具链根,不宜混作用户项目。这个布局解释本书旧例如何定位依赖与产物,不是当前所有Go项目都必须放GOPATH/src的规则;模块模式的路径与获取语义须另行核验。 相关卡片:工作区布局属于依赖管理模式。

命令由package main及唯一入口main函数构成,库提供可复用能力,_test.go提供测试相关代码。纠正原稿的文件化概括:main包可有多个源码文件,关键是不能重复定义入口或混用包名;测试文件也可只有辅助代码,测试函数接收*testing.T或*testing.B,并非T/B值。 相关卡片:源码角色由包与入口共同决定。

导入路径告诉构建工具要用哪个包,package声明及导入别名决定当前文件怎样引用它。包名通常与路径末段相近,但不是强制同名规则。不同路径可有同名包,使用显式别名如import la "logging"区分;不要把文件名、目录名和调用时标识符当成同一个身份。 相关卡片:导入路径与包内名字要区分。

包级声明和类型成员的可导出性由语言的导出规则决定,首字母大写是关键条件;局部变量即使大写也不会变成其他包可引用的全局实体。原文把必须位于GOPATH作为额外条件属于旧工作区上下文,不是导出语义本身;标识符首位可以是下划线,原稿禁止下划线有误。 相关卡片:导出名以大写开头表达边界。

普通导入以包名限定标识符;点导入把导出名带入当前文件,易增加冲突;import _ "logging"只要求包初始化而不绑定普通包名,适合明确的注册副作用。下划线导入不是跳过该包代码,也不等于可以忽略它的初始化失败或资源影响。 相关卡片:特殊导入表达可见性与副作用。

程序先初始化依赖包,再初始化使用它们的包;每包先按依赖关系初始化包级变量,再调用init,最后进入main。同一初始化函数不会每次调用包方法就重跑。需要内部步骤有固定顺序时应显式编排,不依赖跨文件偶然安排,尤其不等待尚未执行的init来解锁通道。 相关卡片:包初始化先于入口执行。

go build构建包及依赖,go run构建并运行命令,go install面向安装产物。选择动作应按交付目标区分,不把能运行某个文件等同于整个包可构建。原稿安装目录、归档和go get下载兼安装的细节属于Go1.3工作区模式,不能照抄成当前依赖管理规则。 相关卡片:构建安装与运行是不同动作。

原稿常见标记中,-n打印计划而不实际执行,-x打印真实执行命令,-work保留临时工作目录,-v列出涉及包。go build -n与go build -x分别适合预览和诊断,前者不能作为构建成功证据。标记是否受支持以及输出细节仍按相应工具链核验。 相关卡片:命令追踪帮助解释构建过程。

格式化统一源码表示,vet检查部分可疑写法,go test执行所选测试,pprof解释运行采样。它们回答不同问题:格式正确不代表业务正确,静态检查也不证明测试覆盖全部路径。原稿列的是旧工具入口,实际命令需按目标版本确认;不把修正旧语法的fix当作自动完成版本迁移。 相关卡片:格式化静态检查和测试互补。

原书依据 · 11 处

P2 第二部分 编程基础

编程基础部分把表达式、类型和控制流落到可验证的代码,再通过测试和文档让实现可观察。引言组织后续三章,不额外生成概念卡。

03 词法与数据类型

词法确定源码记号,类型系统决定可用操作与赋值关系。数组值复制、切片视图、map查找及接口动态值分别有不同的零值、比较和共享语义;这些区别是后面并发安全的前提。方法集合和嵌入是组合行为的规则,不是传统继承;unsafe更不能绕开对象有效性。

标识符、关键字、操作符、分隔符和字面量构成源码,语法规定它们怎样组合。空白通常分隔记号,换行在符合规则时还触发自动插入分号,所以排版并非任意。编译接受只说明形式和静态约束成立,不说明业务结果正确。 相关卡片:词法元素组成合法源码。

Unicode为字符处理定义码点等规则,UTF-8把码点编码为字节序列,Go源码采用UTF-8。一个可见文本单位不必对应一个字节,码点和用户看到的字符也不总一一对应;这个区分是理解后续字符串索引与截取的前提,而不是“所有字符都占固定字节”。 相关卡片:字符编码与字节表示要区分。

标识符把名称绑定到常量、变量、类型、函数等实体;声明位置和代码块决定哪些地方能使用它。同一作用域不能随意重声明,内部同名声明可能遮蔽外部实体。纠正原稿:首位允许Unicode字母或下划线,后续还可有数字,不能概括为必须以字母开头。 相关卡片:标识符绑定实体并受作用域限制。

_可接住不需要的结果,或让导入只产生初始化副作用而不绑定包名。_ = x能满足某些未使用检查,却不会为x创造业务用途,也不能防止优化器删除无可观察作用的工作;赋给_的表达式若有副作用仍会执行。忽略错误应有明确理由。 相关卡片:空标识符丢弃绑定而非执行。

关键字被语言保留,不能拿来另作名称;int、error、len等预定义标识符提供内建类型或操作,却可能被局部同名声明遮蔽。原稿列举的是Go1.3范围的内建名,不是永久完整清单。为避免读者误认调用的是内建操作,应谨慎使用这些名字作为业务变量。 相关卡片:关键字与预定义名约束不同。

数字或字符串字面量直接记一个值,struct等类型字面量描述类型结构,Person{Name: "A"}之类复合字面量再构造相应值。复合字面量可按字段或索引标注,重复字段或常量键不合法。创建新值不等于必然产生一次新的堆分配,应与逃逸及优化区分。 相关卡片:字面量分别描述类型与值。

类型说明哪些值可出现、可以执行什么操作。基本数值、布尔和字符串同数组、切片、映射、结构体、函数、接口、通道及指针承担不同语义,不能仅凭内存表示相似互相替换。类型转换T(x)还要满足相应转换规则,而不是任意类型之间都允许。 相关卡片:类型限定值集合与可用操作。

变量的静态类型由声明及推断确定;接口值还携带所存具体值的动态类型,赋入其他实现时可变化。方法调用先受静态接口契约约束,并非动态值有的任何方法都能直接调用;nil接口没有动态类型。这个区分也是类型断言的前提。 相关卡片:接口分离静态类型与动态值。

type MyString string定义新的命名类型,区别于string;现代语法type Alias = string才保持同一类型身份。原稿把前者称为别名容易误导。rune是int32别名,原文出现uint32是笔误;转换得到目标类型值,不等于所有转换都“不会创建新值或分配”。 相关卡片:定义新类型不同于类型别名。

type MyStrings [3]string的底层类型是[3]string,包含数组长度和元素类型,不能递归丢掉数组层变成string。结构体定义的底层类型是相应struct字面结构,也不是定义名Book本身。原稿这两例的“潜在类型”推导有误;底层结构相同也不自动使两个定义类型身份相同。 相关卡片:底层类型保留复合结构。

整数/产生向零截断的商,%给余数,满足被除数=除数×商+余数,非零余数与被除数同号。例如-5/2为-2,-5%2为-1。常量零除会编译失败,变量整数零除会运行时panic;浮点等规则另论,不能把所有类型的除零都归成同一行为。 相关卡片:整数商向零截断且余数同号。

&保留双方都为1的位,|保留任一为1的位,^为异或,&^按第二操作数的1位清除第一值对应位;它们计算结果而不改操作数。7 &^ 13为2,交换操作数一般改变结果。原稿按位或说明中“否则也为1”是笔误,双方为0时应为0。 相关卡片:位运算按位组合或清除。

移位计数可为零;当前规范要求非负,原稿“必须正整数”不准。有符号整数右移是算术移位,无符号才逻辑补零,不能一概说最高位补零;计数类型规则也有版本变化。固定宽度结果还要考虑溢出,不能把左移永远当作无限精度乘二。 相关卡片:移位要看符号与计数范围。

一元^翻转整数类型宽度内的位:^uint8(1)为254,有符号^1对应-2。结果解释取决于类型及位宽,不能把示意8位图当全部整数都只占一字节。整数常量在取得具体类型前还有无类型常量规则,不应笼统称所有字面量已是有符号整数值。 相关卡片:按位补码受操作数类型限制。

a || b先算a,a为true时不再算b;a && b在a为false时跳过b。条件检查可因此保护后续访问,但b中的副作用也可能不发生。!、&&和||的优先级决定表达式如何结合,不代表右侧!子式无论是否短路都先执行;原稿的顺序说明不能这样外推。 相关卡片:短路逻辑只计算需要的分支。

&v取得变量等可寻址对象的指针,*p访问其所指变量,复合字面量可作为取址特例。不能对任意临时值或map元素取址;nil指针解引用会panic,&*p也不能在p为nil时当作无条件消去。地址运算表达对象身份,不等于替对象创建独立副本。 相关卡片:取址要求可寻址对象。

v, ok := <-ch中ok为true表示取到发送的数据,false表示已关闭且缓存排空。已关闭通道先返回缓存数据,并非每次立即返回零值;nil通道接收永久等待。接收只要求方向允许,状态与生命周期须由协议安排,不把ok泛称动作是否成功而忽略其具体含义。 相关卡片:接收结果区分数据与排空结束。

乘除、移位及部分位运算高于加减等,随后是比较、&&、||,同级通常左结合;括号明确分组。这个规则描述语法结合,不保证任意变量读取和有副作用的子表达式都按某一想象顺序执行。++/–是语句,不能嵌作普通表达式。 相关卡片:优先级不等于全部求值顺序。

x.f可选择字段或方法,嵌入成员按最浅且唯一的可见路径解析;方法接收者也不局限于结构体。指向结构体的nil指针取字段会panic,但若方法接受nil指针并自行处理,调用未必panic;原稿一概禁止不准确。接口调用还受静态方法集合限制,nil接口不能取其方法。 相关卡片:选择字段与方法遵循不同边界。

数组、切片及字符串按有效非负整数索引,索引类型不必仅是int;常量越界可能在编译时拒绝,运行时越界才panic。字符串索引给byte且不可赋值。map按键类型查找,缺键或nil map读取给零值,nil map写入panic;应按容器规则解释相同的a[x]语法。 相关卡片:序列索引与映射键不同。

map查得零值可能是键不存在,也可能是该键确实存了零;v, exists := m[key]用第二结果区分两者。不能拿v==0等判断替代存在性;nil map读取同样返回零值和false。第二结果只说明成员存在,不代表别处共享读写已被同步。 相关卡片:存在标记消除零值歧义。

对切片a,a[lo:hi:max]产生长度hi−lo、容量max−lo的视图,限制须满足0≤lo≤hi≤max≤cap(a);省略max通常用原容量,省略lo/hi分别默认0/len。字符串不支持三下标形式,nil切片[:0]合法,原稿“nil切片切片操作必panic”和排除下界元素的表述有误。 相关卡片:切片边界同时控制长度与容量。

字符串索引和切片按字节进行,UTF-8多字节码点若被截断,可得到含非法编码的字符串。切片本身保留这些字节,并不会自动替换成问号或替代字符,显示时的解码才可能呈现异常。原稿中文样例说明字节边界问题,但“转换成替代字符”的解释需区分切片和展示阶段。 相关卡片:字符串截取按字节而非字符。

x.(T)要求x是接口表达式。T为具体类型时检查动态类型相同,T为接口时检查动态值实现其契约;后者也不免除x必须是接口的前提。v, ok := x.(T)在运行时不匹配时给零值和false,单结果形式则panic;编译期不可能实现的断言可直接被拒绝。 相关卡片:断言检查接口中的具体值。

表达式中的函数、方法调用和通信通常按词法从左到右求值,但其他操作的相对时序未必都被确定。原稿切片字面量同时读取a并调用修改a的f,结果可因读取时机不同而变化。避免依赖这种混合时序,把有依赖的步骤拆成明确语句,比靠括号想象执行先后更可靠。 相关卡片:副作用顺序只保证规定部分。

函数值与实参求值后才开始被调用函数,参数必须可赋给对应形参。可寻址值调用指针接收者方法时可能隐式取地址,但值方法集合与指针方法集合仍有区别;方法也不限于结构体。调用nil函数值会失败,已启动goroutine又是另一种执行安排。 相关卡片:调用先求实参再进入函数。

若g的各结果可依次赋给f的参数,f(g())可把全部结果直接转交。该形式中g调用必须是f的唯一实参表达式,不能写成f(extra, g())自动展开;结果与参数的数量、类型及可变参数规则仍要匹配。这是专门调用规则,不是所有多值表达式都可随处展开。 相关卡片:多结果转交有特殊调用形式。

函数末尾…T可接零个或多个T值,函数内作为[]T使用;已有切片用s…展开,传入的视图仍可能共享原数组。例appendIfAbsent(dst, values...)不自动隔离元素。普通参数与可变参数仍受赋值规则约束,不能据此把任意数量、任意类型的值混入。 相关卡片:可变参数是末尾的切片输入。

bool只有true和false两种值,零值为false,用于表达明确判断。它不是0/1整数的自动替代物,不能直接把任意数字作为布尔条件;使用它时需要知道两个值分别表示什么。若业务还区分未知与未检查,就要另行表达,不能让一个false同时承担几种状态。 相关卡片:布尔值与数值不混作同一类型。

n位无符号整数表示0到2^n−1,有符号范围为−2^(n−1)到2^(n−1)−1。显式int32等便于约定范围,int/uint则随目标实现为32或64位;二者即便同宽也不是相同类型。选型要兼顾业务最大值和资源,不把底层溢出当作自动失败检测。 相关卡片:整数宽度决定可表示范围。

原稿以十进制、0前缀八进制和0x十六进制表示整数,用小数和e/E表示十进制浮点值;常量还要按使用上下文取得类型。当前Go另有二进制、显式八进制和十六进制浮点语法,故原稿“只有三种进制”“浮点只能十进制”须限定Go1.3范围。 相关卡片:数字字面量不等于固定存储类型。

complex64含两个float32分量,complex128含两个float64分量;如1 + 2i表达实部1与虚部2。类型位宽是两部分合计,纯实常量能在允许上下文中作为复数值使用,并不意味着它已经存成固定复数类型。精度和取值误差要按分量类型判断。 相关卡片:复数由同精度实部虚部组成。

rune是int32别名,可用一个字符或转义写出码点,例如’一’和’\u4E00’同为U+4E00;其UTF-8字节却是E4 B8 80。\u的四位与\U的八位是码点转义形式,不应混同为Go源码改用另一编码。\xFF表示数值255,并不属于仅到127的ASCII范围,原稿这类概括需校准。 相关卡片:码点字面量与编码字节不同。

string保存不可变字节序列,len给字节数,不是码点或可见字符数。重新拼接或截取得到相应值,不会改原字符串内容;字符串也可含不合法UTF-8字节,不能由源码采用UTF-8推断每个运行期字符串都合法。字节访问与按字符解码是不同操作。 相关卡片:字符串长度计字节且内容不可变。

双引号解释\n等转义,反引号原生形式保留换行和反斜杠、不能含反引号,且回车字符会被去除。解释型的\xFF可写任意单字节,不限ASCII;\u/\U按码点产生UTF-8字节。原稿把两位十六进制转义限成单字节ASCII字符过窄,须区分字节与码点。 相关卡片:两种字符串字面量解释规则不同。

[n]T中的n是编译期可确定、可用int表示的非负整数常量,长度不同即类型不同;元素可为其他复合类型,因而能构造嵌套数据。它适合确需固定形状的状态,不能在运行期用一个任意变量n声明对应数组类型,也不能自动增长。 相关卡片:数组长度属于类型且必须固定。

数组复合字面量可指定部分索引,未列出位置为元素零值;未指定索引的下一项跟随前一索引递增。显式数组长度必须覆盖所有实际索引,不能重复;[...]T{5: x}按最大索引加一推断长度6,而非按显式元素项数1,原稿“由元素数量决定”需补上稀疏索引条件。 相关卡片:数组字面量按索引补齐零值。

数组变量表示整个数组,赋值或按值传参会复制各元素值,修改副本不直接改原数组。传数组指针可操作同一数组,但也引入共享责任。若元素里含指针、映射或切片,复制的是这些元素值,其中所引用对象仍可能共享,不能把数组复制等同递归深拷贝。 相关卡片:数组赋值复制元素值。

切片零值为nil,len和cap都是0;空字面量[]T{}也长为0,却是非nil切片。两者都可追加,也不能索引不存在元素;具体序列化或接口约定可能区别对待nil。初始化与长度检查应按要表达的语义选择,而不是仅因len为0就推断切片为nil。 相关卡片:空切片和nil切片不完全等同。

切片值包含数据指针、长度和容量,类型[]T不包含长度。复制或再切片只复制描述,可能共享同一底层数组,重叠元素的修改互相可见。图中的节点为表示关系示意,不是新增Go类型或可供unsafe依赖的布局保证;len/cap是内建函数,不是该描述类型的方法。 相关卡片:切片描述引用一段底层数组。

append的结果长度等于旧长度加新增数,容量足够时可改写原底层数组,容量不足才另分配并复制;新容量至少覆盖新长度,二者不保证相等,原稿此处不准。调用者须接收返回描述;直接拼接数组要先取切片再以…展开,不能把数组本身当可变参数切片。 相关卡片:追加返回描述并可能替换数组。

a[lo:hi:max]把新视图容量限制为max−lo,防止该视图再切片触及更后的元素,追加超过容量也会改用新数组。但已有可见元素仍共享,其他别名也不受限制,所以它是局部视图约束,不是只读或安全沙箱;真正隔离元素需按需要复制。 相关卡片:限制容量约束后续追加的共享。

n := copy(dst, src)将元素搬到目标底层存储,返回实际复制数min(len(dst), len(src));它不自动扩展目标长度,也不会仅因有剩余容量就多复制。想要独立数据时先分配目标再复制,元素含引用时仍是浅复制;append也可能改原数组,不能用“copy改原值、append不改”划分。 相关卡片:复制函数按两端长度搬移。

map用键定位值,添加、更新、删除和查找围绕关联关系组织;一个键最多对应一项。散列实现提供通常较快的定位,具体内部布局是运行时选择,不应依赖遍历顺序或固定桶结构。函数接收map值的副本仍可能访问同一数据结构,不是语言改用传引用。 相关卡片:映射按键关联而不保证顺序。

map[K]V要求K可比较,切片、映射和函数不能直接作键。接口键在运行时还要保证装入的动态值可比较,否则插入或查找可能panic;编译期接受map[interface{}]V不代表任意动态值都可用。键的相等规则决定身份,选择时要匹配业务需要。 相关卡片:映射键必须支持相等比较。

m[key]=v新增或更新,v, exists := m[key]区分缺席和零值,delete(m,key)删除且不返回是否存在。nil map可读、可取len,也可delete而无效果,只有向它赋值插入才panic;原稿将nil map删除也说成写操作恐慌不准确。要报告是否删除,应另外定义受同步保护的业务操作。 相关卡片:映射增删查遵循各自返回语义。

普通map不自动协调并发写入及读写交错,所有冲突访问要遵守共同锁或其他所有权协议。只有并发读取且没有写者是不同情形,不能一概称任何并发访问都不安全。把引用副本传给函数不会创建独立存储,也不能因此省略同步。 相关卡片:共享映射的冲突访问必须同步。

函数类型用参数与结果的数量、顺序和类型约定调用,可变参数只能在末尾,结果不能可变。名称可说明职责,单个未命名结果可省括号,如func(string) bool;有命名结果或多个结果时保留结果括号。签名相符让行为可替换,仍不保证业务语义一致。 相关卡片:函数签名约定输入与结果形状。

把受影响数量、错误或保存身份拆成不同结果,比用正负整数同时编码所有含义更清楚。保存是否发生、保存后的ID、是否同步到外部,分别描述实际结果;不应只为调用方分支把它们混成一个成功标记。结果之间仍要定义有效条件,不能在未保存时让调用者误用ID。 相关卡片:多结果分别说明独立业务事实。

命名结果在调用开始时获得零值,在函数体中可像变量一样赋值;裸return返回它们的当前值。例func f() (n int) { n = 2; return }。它能说明结果含义,却也让长函数中的返回来源不够直观,是否采用应以阅读清晰为准,不把命名结果等同于所有路径都已正确赋值。 相关卡片:命名结果是可赋值的返回变量。

同一函数签名的实现可以赋给变量、传给其他函数或由函数返回,以替换某段行为。函数类型的零值为nil,调用前应按契约保证已赋有效实现。原稿Encipher是定义的函数类型,不能按现代术语称作同一类型的别名;类型兼容也不证明加密算法安全。 相关卡片:函数值把策略作为参数传递。

返回的匿名函数可以捕获外围变量,例如工厂接收算法函数,返回调用它并格式化结果的函数。捕获让这些状态在工厂返回后仍可用,也延长相关对象可达性;多个调用若共享可变捕获状态,仍需同步。闭包不是自动复制一份不可变快照,也不是只能用于加密。 相关卡片:闭包保留自由变量的绑定。

方法接收者基于本包定义的非接口、非指针基础类型T或*T,名称只是在方法体内访问接收值的标识。可以省略未使用的接收者名,_也可作空名;原稿禁止_过强。方法与同一基础类型的其他方法不能重名,结构体字段名也要避免冲突。 相关卡片:接收者把方法附到本包定义类型。

方法表达式把接收者变成首个显式参数,方法值则绑定一个接收者。例如(*MyIntSlice).Min的类型是func(*MyIntSlice) int,s.Min的类型是func() int。原书将前者写成返回接收者的签名不正确;区分两者能解释保存回调时究竟保存了对象还是还要由调用方传入对象。 相关卡片:方法表达式显式接收者参数。

T的方法集合与*T不同,后者通常同时含值方法和指针方法;可寻址T值调用指针方法时可隐式取地址,但T的方法集合不会因此扩大。这会影响T或*T是否满足接口,不能以某个变量能直接调用方法,就断言其值类型实现了相应接口。 相关卡片:方法集合与调用简写不可混同。

值接收者得到值副本,改副本字段不直接替换调用者对象;指针接收者可经指针修改原对象。但值若包含切片、map或指针,副本仍可能访问共同底层数据。需要分别辨认描述值和引用数据,不能把“值方法的所有修改对外都无效”当通则。 相关卡片:值接收者仍可能共享引用对象。

基本接口描述方法契约,类型具备全部所需方法就隐式满足。Sortable嵌入sort.Interface并增加Sort(),要求实现Len、Less、Swap与Sort;这是方法约束的组合。现代Go允许重复嵌入完全相同签名的方法,原书一概禁止重复属于旧版本规则;含类型项的约束接口另有用途。 相关卡片:接口组合描述所需方法。

没有方法约束的基本接口可接收任意类型的值,实际操作仍要依据动态类型做断言或类型分支。接口本身有值;nil接口和含有带类型nil指针的接口不同,后者仍保存动态类型。原书“接口类型没有值”不能照搬为语言规则。 相关卡片:空接口保留动态类型和值。

SortableStrings以[3]string为基础,若Swap用值接收者,排序调用修改的是数组副本;方法齐全却无法改变原数组。把这些方法改到*SortableStrings并传指针,才能修改原对象;若基础类型改成[]string,值副本仍共享底层数组,又有不同效果。应同时检查方法集合与数据别名,不能只看编译是否满足sort.Interface。 相关卡片:满足接口不保证修改原对象。

嵌入T或*T让外层通过选择器访问可提升的字段和方法;同层同名会歧义,更近的名字会遮蔽。外层的值与指针方法集合还取决于嵌入的是T还是*T,不能由嵌入就无条件推出所有接口都满足。显式字段路径仍能访问被遮蔽的内部成员。 相关卡片:嵌入提升受名称与方法集合限制。

Sequence嵌入Sortable,并在自己的Sort中先调用self.Sortable.Sort()再设置sorted。外层复用内部排序,同时记录状态,显式委派避免递归调用自身;若元素还可从其他路径修改,sorted也要随之失效。这是一种组合协议,不能只看一次赋真就认定缓存状态永远正确。 相关卡片:组合通过委派增加行为。

结构体标签是附着于字段的字符串元数据,json等库根据自己的规则读取。例如json:“name”指定序列化名称,不自动改变Go字段名或强制所有库遵守。标签的效果要同消费它的库一起解释,任意标签本身不触发运行时业务规则。 相关卡片:字段标签由读取方解释。

结构体把不同类型的具名字段合成一个值。字面量可全部按声明顺序提供值,或使用字段名并让遗漏字段取零值,不能混用两种写法。跨包不能直接设置未导出字段;带名初始化也更能表达字段职责,减少位置变化造成的误解。 相关卡片:结构体字面量明确字段赋值。

type List Sequence建立新定义类型,并不继承直接声明在Sequence上的方法;这不同于现代Go的type List = Sequence别名。但若底层结构体仍含嵌入字段,List仍可能有由字段提升而来的方法,不能据新定义就断言方法集合必为空。 相关卡片:定义类型不继承原类型方法。

原书GenericSeq借interface{}、reflect.Type和委派支持不同元素类型;值的实际类型约束主要在运行时处理。它展示Go1.3中的动态抽象方法,不是现代类型参数的静态泛型。Append或Set返回布尔值时还需阅读契约才能判断业务含义,不能凭调用方是否继续推断返回语义。 相关卡片:动态接口组合不同于静态泛型。

*T保存到T值的引用,传递指针可让多处访问同一对象;指针零值为nil,解引用前须符合对象存在的契约。可寻址性是语言对取地址表达式的规则,不能简单等同于机器最终有没有为它安排内存;不是每个表达式都可直接取址。 相关卡片:指针关联对象而非复制对象。

unsafe.Pointer允许绕开类型系统重新解释同一内存,但新类型的大小、布局、对齐及对象有效性仍要满足约束。把float32指针转成int或string指针并不会完成数值转换;结果错误、越界或panic均有可能,不能把某次必定panic当作统一安全保障。普通类型转换与内存重解释应明确区分。 相关卡片:内存重解释要求布局相容。

uintptr是整数,即使数值来自指针也不具有GC指针语义,不能阻止对象回收或保证地址变化后自动更新。原书把地址保存到多个uintptr变量再转回指针的示例不符合现行一般安全用法;需遵守unsafe文档允许的转换模式,优先普通字段访问,不能把任意算术地址当作有效对象。 相关卡片:uintptr不能保活指针对象。

new(T)分配并清零T值,返回*T;零值可直接使用的类型能减少构造步骤,例如bytes.Buffer与sync.Mutex。它也能用于切片、map或通道,只是得到指向nil值的指针,而不会建立相应底层结构。原书“不会初始化”应理解为不执行额外自定义构造,清零本身已定义初始值。 相关卡片:new返回指向零值的指针。

make只创建切片、map和通道并返回相应值。切片的len是已可索引元素数,cap是可扩展上限;map的大小参数只是初始容量提示,不能当作键值对数量或固定最大长度;通道参数是缓冲容量,不是已有消息数。nil切片仍可append、nil map仍可查删,不能将三者的nil值一概说成完全不可用。 相关卡片:make分别定义长度容量与提示。

完全同一类型通常可以赋值,接口满足、可表示的无类型常量以及特定底层类型关系也允许赋值。两个不同定义类型即使底层相同,一般仍需显式转换;同底层且至少一方非命名类型是另一种情况。双向通道还可按规则赋给单向通道,但不会逆向恢复发送能力。 相关卡片:可赋值与类型相同不是一回事。

x op= y相当于组合计算再赋值,但x只求值一次,这对含索引或函数调用的左操作数尤其重要。它只有一个左值和一个右表达式,不能像普通赋值一样平行展开。理解这一点可避免把有副作用的复合赋值机械展开后改变行为。 相关卡片:复合赋值只求一次左操作数。

多重赋值先求相关操作数与右值,再从左向右写入。例如i=1时,i,s[i-1]=2,“Z”修改s[0];a,b=b,a可直接交换。写入后面的目标若panic,先前写入并不回滚,因此平行赋值不是事务。map索引和_也是合法左值,原书一概要求可寻址不完整。 相关卡片:平行赋值先求值后依次写入。

无类型常量可在编译期保持很高精度,直到赋值或转换时才须适合目标表示范围;有类型常量必须满足对应约束。1<可作为无类型常量参与常量运算,但不能直接装进uint64。编译器内部表示仍有规范要求与实际限制,不能将数学任意精度理解为编译器无限资源。 相关卡片:无类型常量延后选择表示类型。

const块可省略后续声明的表达式和类型,含义是重复前一个非空表达式列表,标识符数量须对应。它不是永远复制前一行的结果值:表达式含iota时会按当前声明位置重新求值。普通var声明不支持这种省略,未初始化但给定类型则取得零值。 相关卡片:常量块省略重复的是表达式。

iota是const声明块内从0开始的声明位置索引,同一声明中的多次出现得到同一个值。省略表达式会重新代入当前iota;使用_也占据声明位置。即使某行没有写iota,它仍计入位置,不能按iota文字出现次数计数。常量1<可生成位掩码,但改变声明顺序会改变数值。 相关卡片:iota按常量声明位置计数。

var v=0根据默认类型把无类型整数常量用于int变量;浮点常量默认float64,字符常量默认rune。类型在编译时确定,以后可改变值而不能随赋值改类型;var v T不显式赋值也已有T零值。不要把默认类型推断说成每次运行都动态决定变量类型。 相关卡片:变量推断在声明时确定类型。

:=仅用于函数内部,左侧至少有一个非_新变量;同一块中类型相符的旧变量可同时重新赋值。内层块里的同名声明则可能新建变量并遮蔽外层,不能只凭拼写相同就视作更新。未使用的局部变量通常报编译错误,_只能临时屏蔽,不能替代明确用途。 相关卡片:短声明允许同块变量再赋值。

不同类型定义产生不同类型,即使底层方法形状相同:type Ia interface{M()}与type Ib interface{M()}不是同一命名类型,但可相互满足。未命名复合类型则按长度、字段顺序/名称/标签、参数结果类型等结构规则判断;函数参数名不影响恒等。跨包使用相同预声明类型或同一已导出类型仍可恒等,原书跨包一概不等的结论过强。 相关卡片:类型恒等按定义身份和结构判断。

==与!=要求可比较,大小关系还要求有序;bool和complex可判等却不能用<排序。数组和结构体需元素或全部字段可比较,slice、map和函数只能与nil比较。字符串按字节词典序,因此”abc”大于”abC”,原书该例小于的结论相反;浮点NaN还使常见相等直觉失效。 相关卡片:可比较不等于可以排序。

通道值可比较,相等表示来自同一次make,或二者都为nil;相同元素类型及相同缓冲容量并不让两条独立通道相等。它们的区别是通信对象身份,而不是配置是否相同。原书据容量和元素类型就判相等的描述不准确。 相关卡片:通道判等取决于同一创建来源。

接口比较先看动态类型,再比较动态值;当相同动态类型不可比较时会panic。例如把[]int封入interface{}不会使切片获得可比较性,这也可能通过含接口的数组或结构体比较触发。nil接口没有动态类型,带类型nil指针的接口仍有动态类型,不能仅凭其内部指针为nil就判接口等于nil。 相关卡片:接口判等仍可能触发恐慌。

T(x)按可转换规则建立目标类型值,x.(T)则检查接口动态值是否符合目标类型;两者用途不同。具有相同底层类型的定义类型常可显式转换,某些指针转换也允许,但转换不会自动继承方法或使任意整数成为合法指针。指针与单向通道目标常需括号,如(*T)(x)。 相关卡片:显式转换不等于动态类型断言。

整数变量缩窄可截去高位,而超范围整数常量转成目标类型会编译失败。浮点转整数向零截断,但若结果超出目标范围,不能照原书一概保证先转宽整数再截位;其结果依赖实现。浮点转换可能按目标精度舍入,不能据转换成功就断言数值无损。 相关卡片:数值转换区分截断和可表示性。

string(整数)把整数解释为Unicode码点并编码,不是十进制文本格式化;无效码点得到替换字符。string([]byte)串接原始字节,[]rune解码为码点序列。[]byte(“”)与[]rune(“”)得到长度0的非nil切片,原书说一定nil不准确;rune本身是int32值,不能说它在内存中必以UTF8储存。 相关卡片:字符串转换分清字节与码点。

内建函数无需导包即可调用,却不能直接像普通函数一样赋给变量或作为回调。原书列出的清单属于Go1.3时点,不等于当前全部内建函数。print与println用于实现相关的引导/调试输出,目的地和细节不作为应用输出协议;需要稳定可控的文本输出应选fmt或日志接口。 相关卡片:内建函数不都是普通函数值。

close由拥有发送结束权的一方发起,之后发送、重复关闭或关闭nil通道会panic;只能关闭可发送的通道。接收仍先取走缓冲值,排空后立即返回零值且ok=false。close不是撤销已发送消息,也不是接收方用来强迫发送方停止的通用方法。 相关卡片:关闭通道声明不再发送。

len可用于字符串、数组/数组指针、切片、map和通道;cap只用于数组/数组指针、切片与通道,不支持string和map。len通道返回当前排队数,不等于还能发送多少。部分len或cap表达式是编译期常量,不能由结果类型int就一概视作常量;原书cap(字符串常量)的举例不合法。 相关卡片:长度容量查询各有适用对象。

原书依据 · 88 处

04 流程控制方法

控制流决定条件、循环、分支和函数退出的实际顺序,defer把资源收尾绑定到函数生命周期,panic/recover限定异常传播边界。集合实例进一步把map、排序视图和行为接口组合起来:满足接口只说明方法集合匹配,不证明实现会修改原对象或维护全部不变量。

显式花括号与包、文件、控制语句及case等隐式块共同决定名字作用域。包级实体跨文件可见,导入包名只在当前文件可见;内层同名声明会遮蔽外层。局部变量作用域还从声明之后开始,并非简单覆盖整个函数,所以阅读名字时应定位到具体声明及所在块。 相关卡片:词法作用域按代码块确定。

if条件必须是布尔表达式,可带由分号隔开的初始化语句;其局部变量可用于关联的else分支。串联else if只执行第一个真分支,因此要按实际比较符号推演。原稿100示例后来解释为diff,方向相反;条件文字与代码必须核对,不能凭分支顺序猜结果。 相关卡片:条件分支依次选择首个真条件。

i++和i–分别对目标增减1,只能作为语句,不能嵌入赋值右侧或当参数求值;目标也可以是合法的切片或map索引。它们便于循环后置处理,不能照搬其他语言中++i或把i++结果继续参与计算的写法。 相关卡片:自增自减是语句而非表达式。

函数入口或关键调用之后先检查前提,失败就返回,能减少主流程嵌套。os.Open后先检查err再使用文件,是以真实操作结果决定后续动作;不要把所有函数的非nil错误都推成其他结果绝无用途,应以各接口契约为准。返回值仍描述业务结果,错误可附具体原因。 相关卡片:卫语句先排除失败前提。

switch先求一次判定值,再按源码顺序检查case表达式,找到相等者便只执行该分支;一个case可列多个候选。没有匹配时才执行default,default的位置不改变这一点。省略判定表达式相当于true,可把一串布尔条件写成分支,不保证一定比if更清楚。 相关卡片:表达式分支按顺序首次匹配。

表达式switch中,fallthrough须位于非末尾case的语句列表末尾,直接转入下一case的语句,不再判断其条件。下一分支若也有fallthrough还会继续,否则执行后结束switch;类型switch禁止它。普通case不会自动贯穿,无需像C那样每次补break。 相关卡片:fallthrough顺延分支。

switch x.(type)依据接口值的动态类型选择case,不是对普通具体类型值做通用类型转换。单一具体case可获得对应类型值,case nil只匹配nil接口;带类型nil指针的接口匹配相应指针类型。case也可以是接口类型,按匹配顺序选择,不能把type断言守卫当普通表达式使用。 相关卡片:类型分支检查接口动态类型。

switch i:=v.(type)中,单一类型case里的i有该类型;多个类型、default或nil分支中的i保持守卫表达式v的接口类型。原稿把多类型case解释成按当前动态类型声明具体变量并不正确。要在这些分支调用具体类型专有操作,仍需进一步断言或拆分case。 相关卡片:类型分支变量保留静态规则。

for可使用单一条件、完整初始化/条件/后置子句,或省略条件进行持续循环。初始化只执行一次,每轮先判断条件,正常完成循环体后执行后置语句;后置部分不能是短变量声明。多变量状态可用一条平行赋值更新,不能用多个语句冒充单一子句。 相关卡片:for统一控制重复执行。

循环开始前通常先求range表达式,所以后续改变外部切片描述不会重新选择遍历对象;共享底层元素仍可能变化。只取索引且len为常量等规定情形可不求原表达式。应分别理解遍历依据、元素读取以及每轮左值求值,不把“一次求值”误解为所有底层数据都被深复制。 相关卡片:range表达式通常只求一次。

range字符串按UTF8解码返回rune,但第一个结果仍是对应编码起始字节的位置,不是第几个字符。Golang爱好者中,好的起始偏移为9;非法编码返回U+FFFD并按非法字节推进。原稿表格把第二值记为s[i]容易误导,s[i]实际是byte,不能据此替换range的rune值。 相关卡片:字符串迭代索引仍是字节偏移。

map迭代顺序不固定;未被遍历就删除的条目不会再产出,迭代中新增的条目可能出现也可能不出现。若业务要求固定顺序或完整处理某一时点的集合,应另建键序列或快照,不能依赖一次range的偶然结果。此规则也不赋予普通map并发读写安全性。 相关卡片:遍历map时新增项不保证出现。

range通道持续接收,直到通道关闭且已发送值被取尽才结束。nil通道会一直阻塞;空但仍开放的通道也会等待。生产方须有明确关闭协议,不能把暂时没有消息当作遍历完成;接收方也不应为结束遍历随意关闭仍有发送者的通道。 相关卡片:通道遍历等待关闭并排空。

数组和切片产出索引及元素值,map产出键和值,字符串产出字节偏移及解码后的rune,通道只产出接收到的元素。_可忽略不需要的产出;range得到的元素通常是值副本,不直接代表可修改的原元素位置。原书清单属Go1.3范围,现代Go另支持整数和迭代函数。 相关卡片:range产出取决于被遍历对象。

示例用U+4E00到U+9FBF筛选昵称,只是给定码点区间检查,不能证明覆盖全部中文字符、组合形式或所有汉字扩展区。空字符串还会因没有反例而满足逐字符条件,是否接受要另定。示例意在解释循环与break,业务校验需明确字符集、空值及规范化策略。 相关卡片:文本筛选区间不等于完整语种。

不带标签的break终止最近的for、switch或select;continue只推进最近for。带标签时break可终止所标记的外层控制语句,continue只可指向包围当前语句的for。它能替代只为传递跳出意图而设置的标志,但函数的业务结果仍应由实际匹配等事实表达。 相关卡片:标签指定循环跳出层级。

goto只能跳到同一函数内标签,不能跳过声明让本来未进入作用域的变量突然可用,也不能跳进另一个内层代码块;同一块或合法外层跳转可成立。标签不会自动阻断顺序执行,相邻错误标签可能连续落入。集中收尾可使用它,但需权衡控制流是否仍清楚。 相关卡片:goto受作用域和入口规则限制。

defer end(begin(“record”))先执行begin并保存结果,等外围函数退出再调用end;函数值和参数都在登记时求值。循环里defer fmt.Print(i)保存每轮值,延迟执行顺序再逆转。保存切片或指针只复制描述或地址,共享对象后来仍可能变化,不等于深复制快照。 相关卡片:延迟调用立即保存参数值。

执行到defer时登记调用,在当前函数正常返回或panic展开时,按登记的逆序执行。它绑定函数退出而非每次循环结束;只有实际执行到的defer才登记,进程直接终止也不能靠它保证资源清理。匿名延迟函数仍须在末尾写调用括号,受允许的内建调用也可defer,不能一概说内建函数全不允许。 相关卡片:defer在函数退出前倒序执行。

Go1.3的for i:=0循环闭包共享i,退出后都观察最终值;显式传参可保存当轮值。Go1.22起采用新语言语义时,循环声明的变量每轮独立,原书五次打印5的结论不再普遍成立;若复用循环外已声明变量,仍可能共享。解释闭包必须同时说明声明方式和语言版本。 相关卡片:延迟闭包受循环变量语义影响。

return先设置结果,再执行defer;延迟闭包可访问并修改命名结果变量,因此最终返回值可能不同于return表达式刚写入的值。延迟函数自己的返回值则被丢弃,不会替代外围结果。应明确哪一个变量才是结果,不用延迟函数的返回语句猜外围函数返回什么。 相关卡片:延迟函数可修改命名结果。

error是只有Error() string方法的接口,常作为函数最后一个结果表示错误;errors.New创建文本错误,fmt.Errorf按格式产生错误值。返回错误让调用方决定失败后怎么办,不能把生成错误同打印日志混为一事。原稿fmt.Errorf内部总是直接调用errors.New是实现时点描述,现代包装错误另有机制。 相关卡片:error提供显式错误结果。

PathError用Op、Path和Err保存操作名、路径及底层错误,Error() string负责可读描述。返回error接口让不同实现共用一个入口,需要结构化信息时再按类型或受支持接口提取;比较文本会丢失这种结构。类图对应原书os.PathError声明,当前所在包或别名布局需按版本查证。 相关卡片:错误结构保留操作上下文。

EOF通常表示输入结束,并非业务失败;调用者要结合读取结果决定已取得的数据是否仍需处理。原稿ReadLine示例忽略isPrefix且不恢复换行,拼接得到的是行内容片段而非原文件逐字还原。不同读取API对数据与错误同时返回的规定不同,不能把先看err就抛弃全部数据当成通用读取模板。 相关卡片:结束信号仍须遵守读取契约。

io.EOF一类预定义错误值表示约定信号,可直接返回并判别;新建相同文本的错误不自动拥有同一身份。错误接口的==还受动态值可比较性约束,不能对任意自定义错误保证安全。旧代码直接判等适用于未包装信号,现代存在错误包装时应按接口支持的识别方式处理。 相关卡片:哨兵错误靠约定身份识别。

接口可在Error()之外增加Timeout等信息,让调用方按原因处理。net.Error的动态值仍是具体实现类型,不是接口本身;原书依Temporary决定重试属于旧惯用法,当前该方法已弃用。即使可重试,也需考虑操作幂等、次数、期限与退避,不能只按错误标志无限重发。 相关卡片:错误附加属性不等于重试许可。

panic停止当前正常执行,依次执行已登记的defer并向本goroutine调用栈外层展开;未被恢复的panic会终止程序。它适合报告不应继续的异常,普通可预期失败通常返回error。goroutine不是独占系统线程的固定环境,其他goroutine中的defer不能跨栈替它recover。 相关卡片:panic沿当前调用栈展开。

旧版panic(nil)可能让recover得到nil,因而与没有panic混淆;现代默认语义保证在有效恢复中取得非nil值。原书的nil判断说明需限定Go1.3背景。panic参数应足以解释原因,但也不能从参数类型为error就断言一定是运行时缺陷,模块必须定义自己的分类协议。 相关卡片:panic空值需区分语言版本。

recover须由当前正在panic的goroutine里的延迟函数直接调用,才能取得panic值并停止继续展开。恢复后不是从原panic点继续,而是完成该外围函数的退出,其调用者可继续。fetchDemo例中恢复后不会再执行fetchElement调用后面的done打印;把recover藏进普通辅助函数也不等于直接调用。 相关卡片:recover须由延迟函数调用。

模块边界可把本模块约定的panic转换为error,让正常调用方继续用结果处理失败;未知类型应重新panic,避免把程序缺陷吞成成功。fmt扫描示例只处理scanError,其余重新抛出。恢复不自动回滚已做的修改,错误返回仍要清楚描述状态,不能保证只恢复调用栈就恢复业务一致性。 相关卡片:恢复边界只转换已知异常。

HashSet把元素存为map键并把对应值固定为true,利用键唯一性实现添加与包含判断。动态键必须可比较,interface{}不会让切片或map成为合法键;NaN等不满足自反相等的值还会破坏普通集合直觉。此实现不是任意Go值的通用数学集合。 相关卡片:用映射键实现集合唯一性。

HashSet零值的m为nil,读取或删除仍可行,首次插入却会panic;NewHashSet通过make建立可写map。返回*HashSet让调用者获得所定义的指针方法集合。选择指针接收者还可统一字段替换等操作,不能仅凭“指针一定更快”决定接收者设计。 相关卡片:构造集合先初始化底层映射。

Add先查询,缺席才写入true并返回true;已有元素返回false,表示未新增而非操作错误。Contains报告是否已包含,Remove只删除而没有返回结果。清楚的正向业务语义让调用方决定是否记录或通知,不把返回布尔值命名为是否应跳过。 相关卡片:添加结果表示确实新增元素。

原实现Clear将m替换为新map,修改的是当前HashSet字段,其他别名若仍引用旧map不会被清空;旧存储只有不可达后才可回收。它不提供并发同步。Go1.3没有clear内建函数的背景不能沿用到当前,逐项删除在无并发写者时也不是必然删不干净。 相关卡片:清空字段与清空存储不同。

Same先排除nil及长度差异,再逐项检查另一集合是否包含相同元素;这是内容相等,不是两个指针是否指向同一对象。算法以一致的相等与键规则为前提,同时比较期间若集合变化,需要共同的同步或快照约定,单次Len判断不能固定后续内容。 相关卡片:集合内容相同不要求同一对象。

Elements先分配切片,再从map复制键,得到可按切片顺序读取的成员列表。预估长度、追加或截短只处理输出长度,不能让普通map并发读写安全,也不能证明所有成员来自同一时刻。要提供一致快照,复制期间应持正确锁或从不可变版本读取;interface元素仍可能引用可变对象。 相关卡片:元素快照须先定义一致性边界。

为类型提供String() string可让fmt按相应格式生成易读表示。HashSet借bytes.Buffer聚合文本,但map的遍历仍无序,因此输出不适合作为稳定排序、签名或相等性凭据。原书两个if m[“a”]注释方向相反,true在此表示键已存在,而不是缺席。 相关卡片:字符串表示服务可读输出。

并集包含任一集合成员,交集包含共有成员,A差B只保留A独有者,对称差集保留两边各自独有者。真超集还要求包含且不相等。把这些操作构造成返回新集合的函数,可保持输入不变;nil参数如何处理须统一约定,不能把“没有集合”与“合法空集”随意混同。 相关卡片:集合运算基于成员关系组合。

Set抽取Add、Contains、Len、Elements等基本能力,Same的参数改成Set后,*HashSet才按相同签名满足该接口。高级集合运算可作为接受Set的独立函数,复用不同实现的基本能力,而不要求每个实现重复编写。接口不是语法上禁止引用实现类型,而是此处选择降低耦合。 相关卡片:基本接口承载可复用集合算法。

map只要求键可判等,而排序还需定义顺序。把键存入interface{}切片不会自动获得大小关系,需要具体类型策略或比较函数。整数、浮点和字符串有语言大小操作,bool、指针等虽可作键仍需额外排序协议;比较函数还应满足一致性,而不只保证不会类型断言失败。 相关卡片:可作为映射键仍未必可排序。

myKeys保存reflect.Type并在接纳元素前检查动态类型,同时用compareFunc比较值。比较函数内断言目标必须与该类型一致,nil策略也要明确;运行时反射方案属于Go1.3设计选择,不代表现代Go没有类型参数。示例Less判断== -1过窄,约定是任意负数均表示小于,应使用。 相关卡片:比较策略必须与元素约束一致。

sort.Sort通过Len、Less和Swap工作,不保证相等元素的原相对顺序。每次添加都完整排序以换取实现简单,但不等于总体最优;稳定性、更新频率与数据量应分别衡量。原稿混合排序细节属于当时实现,不能将某一快速排序组合视为永久API契约,也不能把快速排序称作任何任务都最快。 相关卡片:排序稳定性与代价分别评估。

sort.Search需要真假单调的谓词,返回第一个使谓词为真的位置,找不到则返回n。以元素>=目标作谓词后,仍须检查index且当前位置确实等于目标。对于1,3,5,7,9中的6与8,分界分别是索引3与4;原书该例返回位置说反。排序、比较策略和等价性须相容。 相关卡片:二分查找返回分界而非命中。

找到目标索引后,append(s[:i],s[i+1:]…)把后半段接到前半段,保留其余顺序;返回的新切片必须写回字段。该操作通常移动后续元素,不能因代码短就视为O(1)。底层末尾若残留引用还可能延长对象存活,切片别名也会观察到移动。 相关卡片:有序删除保持剩余元素次序。

Get若只检查index>=Len,负数仍会在索引时panic;要选择完整的0<=index检查或明确允许panic的接口契约。返回nil表示越界还可能与合法nil元素混淆,若业务需要区分,应提供独立存在标志或错误。原示例不能仅凭已有上界检查就声称所有非法索引都安全。 相关卡片:索引访问须检查上下两端。

myOrderedMap用Keys维护键顺序,用map保存键值关系,添加和删除都须同步维护两份状态。Len、查值和有序遍历应描述同一集合,不能只排序一份脱离更新的旧键表。ToMap返回普通map会失去遍历顺序,原书“已排序字典值”的文字不能成为该返回类型的保证。 相关卡片:有序字典同时维护键序与映射。

HeadMap取小于上界的键,TailMap取大于等于下界的键,SubMap采用[fromKey,toKey)半开区间。边界比较须使用同一键策略,是否复制底层数据也需由实现约定。原文只给接口与练习要求,没有展开全部实现,不能替它补造视图共享、并发安全或实际性能保证。 相关卡片:区间字典按半开边界划分。

原书依据 · 47 处

05 程序测试和文档

测试先规定观察和失败条件,再理解运行器、并行度、基准校准及采样范围。覆盖率不代表断言正确,基准迭代数不等于每秒速率,阻塞和内存概要也有不同单位。文档则把接口和示例的行为约定显式交给使用者。

功能改变或性能优化后,需要检查预期行为及既有行为是否仍成立;可重复测试把这种检查从记忆变成可观察证据。测试通过仅支持所覆盖的输入和断言,不保证所有情形正确。文档则说明使用契约,两者共同降低维护时重新猜测程序行为的成本。 相关卡片:测试为修改提供可观察反馈。

测试放在_test.go中,功能测试形如func TestXxx(t *testing.T),由go test发现并运行。除了与目标同包测试,也可以用包名_test进行外部测试,原书“总应同包”不作为强制规则。测试应表达输入、期望和失败原因,而不只是调用被测函数一次。 相关卡片:功能测试按约定签名自动发现。

Log只记录信息;Error相当于记录并标失败,可继续其他独立断言;Fatal则记录并立即终止当前测试goroutine。Fail与FailNow对应是否立即结束,Failed查询结果。FailNow/Fatal须在测试函数所在goroutine调用,也不会替你停止派生goroutine,原书“在其他goroutine调用没有任何效果”不准确。 相关卡片:失败报告区分继续与终止。

Skip、Skipf会记录理由后通过SkipNow结束当前测试,Skipped可查询状态;这些终止方法须在测试goroutine使用。跳过表示当前环境或条件不适用,不等于已验证成功,也不应拿来隐藏已知失败。测试结果统计应保留这个区别。 相关卡片:跳过测试须说明适用条件。

-run按名称正则筛选,-v显示测试过程及日志;表达式不匹配任何测试时,命令仍可能成功。因此验收需核对实际RUN/PASS记录或运行清单,不能只看退出码与耗时。使用文件列表还会改变测试组成,按包执行通常更能保留真实包环境。 相关卡片:测试筛选成功不证明测试已运行。

-timeout限制测试二进制的运行时间,超时触发panic,并非分别给每个测试同样的独立预算;-short只设置可查询的意图,测试自行通过testing.Short选择缩短或跳过哪些工作。短模式不会自动裁剪任意测试,耗时预算与被省略范围都要明确。 相关卡片:超时上限与短模式是两种控制。

t.Parallel声明可同其他并行测试并行,-parallel设置单个测试二进制的数量上限;GOMAXPROCS控制可同时执行Go代码的线程资源,两者不同。并发测试数可高于GOMAXPROCS,例如等待IO时,并非原书说的绝对不能更多。包间并行另受go命令控制,共享资源仍须隔离或同步。 相关卡片:并行测试上限不等于核心数。

StopTimer暂停,StartTimer恢复,ResetTimer清除已累计时间及相关统计而不改变计时开关。准备数据可排除,但实际目标工作不能被一并排除。停止计时后仍然会消耗真实墙钟时间,0 ns/op也不证明操作免费;原稿把-benchtime当整个命令严格总耗时上限不准确。 相关卡片:计时边界决定基准测量对象。

B/op是每操作分配字节平均数,allocs/op是分配次数平均数;-benchmem显示统计,b.ReportAllocs启用当前基准的分配报告且没有返回值。原书将后者说成判断标记并返回bool不正确。分配指标还需结合计时范围、N循环及对象生命周期解释,不等于峰值或仍存活内存。 相关卡片:基准分配指标描述每次操作。

b.SetBytes(n)声明单次操作处理的字节数,框架结合操作耗时计算MB/s;它不会自行验证业务是否确实读写了这些字节。应使用真实有效的数据量,并区分请求负载、成功写入及重试重复量,不能用调用SetBytes的次数冒充处理次数或让设置值代替实际工作。 相关卡片:吞吐率依据真实每操作字节数。

旧式BenchmarkXxx(b *testing.B)应在循环中把目标工作执行b.N次;框架可多次调用基准函数并调整N进行校准。结果的操作数对应循环工作量,不是基准函数调用总数。原书没有N循环的休眠示例不能证明函数被调用了20亿次;现代另有B.Loop协议,应按所用版本选择一种循环方式。 相关卡片:基准操作次数不是函数调用次数。

-cpu列表按不同GOMAXPROCS配置运行测试或基准,可观察并行资源变化的影响;数值不是创建goroutine的数量。-parallel限制并行测试而不会自动随每次-cpu调整重新取默认值。原书一台机器上的数据不证明核心数越大必然越快,比较还需相同负载、环境和重复测量。 相关卡片:并发配置比较须固定其他条件。

Example函数中的末尾Output注释给出预期标准输出,go test执行后作比对;没有输出注释的示例只编译而不运行。示例适合展示稳定、简洁的用法,不能由某个打印结果推断全面正确性。名称应符合对象关联规则,当前工具会校验其对应标识符,不能随意用不存在的对象名。 相关卡片:示例输出既是文档也是断言。

Example对应包,ExampleF对应函数F,ExampleT对应类型T,ExampleT_M对应方法;可加以小写开头的下划线后缀区分同一对象的示例。命名让文档工具把可编译示例放到正确API附近,而不只是方便人搜索;示例的输出断言与这层文档关联各有作用。 相关卡片:示例命名关联具体文档对象。

-cpuprofile收集执行期间CPU样本,-memprofile输出堆内存概要;用匹配的测试二进制与概要交给go tool pprof查询。CPU样本集中位置提示消耗执行时间的热点,不等于完整请求墙钟时间;内存概要还需区分累计分配与仍在使用。原书Go1.3目录和采样实现细节只作历史例子。 相关卡片:性能概要用采样定位开销。

MemProfileRate控制平均每分配多少字节采样一次,1表示记录每个分配块,0关闭;不是每个字节都产生一条记录。减小间隔会增加开销。为分析当前堆状态通常无需关闭GC,GOGC=off改变实际运行条件和内存增长,不能当作取得全部分配记录的必要步骤。 相关卡片:内存采样率按平均字节间隔设置。

SetBlockProfileRate的rate以阻塞耗时纳秒计,目标是平均每累计相应等待时间采一个事件;1记录全部,<=0关闭。原书表格写成每若干“次”的单位不准确。阻塞热点显示等待在哪些栈上累计,不自动等于死锁或该位置本身做了大量CPU计算,需要结合通信和锁协议判断。 相关卡片:阻塞概要按等待时间抽样。

语句覆盖率描述这次测试触达了哪些被统计代码,可发现没有执行的路径,但不证明已有断言有效、全部条件组合或业务边界已验证。并非只要比例达到某值就可放心发布;应把未覆盖位置同错误、边界及并发场景映射后补测试。统计范围改变也会改变分母。 相关卡片:覆盖率表示执行触达而非正确性。

set记录是否执行,count记录次数,atomic用原子方式累加以应对并发统计;模式不能同时混用。-coverpkg选择参与统计的包,未选包不自动计入;-coverprofile保存数据。选择atomic保证计数协调,不证明被测业务本身没有数据竞争,也会改变运行成本。 相关卡片:覆盖模式分别记录触达与次数。

go tool cover -func=cover.out展示各函数及总体覆盖,-html生成源码着色视图;count或atomic数据可显示次数差异。读取结果应对应同一源码版本,颜色和界面形式依工具版本,原书将来的UI计划不能当当前承诺。手动-mode插桩属于工具层用途,通常先用go test的覆盖入口。 相关卡片:覆盖概要按函数和源码定位缺口。

cover在编译前对源码插桩,使用计数器记录近似基本块的执行,避免依赖二进制动态重写。它不深入探测&&与||的短路子表达式,也不是原书所说的简单“一行一个计数”。相同一行里的所有条件都被充分测试,不能由该处显示已覆盖推出。 相关卡片:覆盖插桩针对近似基本块。

行注释到行末,块注释可跨行且不支持块注释嵌套;行注释也可跟在代码后,原书称只能独占一行不准确。文档以自然段、缩进代码和必要列表组织,不用随意HTML装饰。当前Go文档有专门格式规则,旧godoc用法及纯文本限制不能当永久规范;常量组也允许逐项添加说明。 相关卡片:文档排版先保证普通文本可读。

包注释放在package声明之前介绍整个包的用途、主要能力与约束;较长内容常集中于doc.go,但并不强制使用块注释。类型、函数等声明前的文档注释应以名称开头的完整句说明职责,字段和方法可各自补边界。文档工具把这些说明与声明联系,名字本身不能替代行为契约。 相关卡片:文档注释紧邻声明形成入口。

按Example命名关联到API的函数可同时进入文档并由测试工具验证输出,让使用者看到完整用法。它减少文档示例长期不编译的风险,但缺少输出注释的示例只编译,仍不等于已执行验证。示例选择、依赖和断言需与说明契约一致,不能让一份展示代码冒充全面测试。 相关卡片:可执行示例连接API说明与测试。

原书依据 · 24 处

P3 第三部分 并发编程

并发部分先建立进程、线程、系统调用与调度背景,再解释Go的goroutine和通道,最后补共享状态同步工具。引言只标出路线:抽象层次不同,其性能、阻塞和生命周期边界也不同。

06 并发编程综述

并发是多个活动可交错推进,并行是实际同时执行;进程和线程再给出地址空间、身份、系统资源及通信边界。IPC、互斥和条件等待把这些活动组织为协作协议。Go1.3的M/P/G、运行队列和监控机制解释当时实现,但默认执行预算、抢占和GC细节不能作为现代版本的固定规则。

并发程序由可独立推进的活动组成,能在一个或多个CPU上交错或同时执行;并行则要求多个工作实际同时执行。单核也能组织并发,语言支持并发也不保证任意程序获得加速。原稿从串行例程到并发、并行逐层区分,历史归属年份不作为机制证明。 相关卡片:并发组织允许任务交错推进。

紧密关联的多个活动可视作一个并发程序,多个独立程序还需通过协议协作成系统。两层都有并发问题,但资源、故障和通信边界不同;本书主要讨论前者。原稿把并发系统与分布式/并行系统近似等同,是其讨论语境,不表示系统组件必定都在不同机器同时执行。 相关卡片:程序内协作与系统间协作分层。

并发活动间通常只有部分顺序被明确指定,同样输入可能走不同交错路径。同步可以建立必要的顺序,未指定的部分仍不可依赖。原稿说每次路径都会不同过强:可能不同不等于必定不同,测试偶然出现固定顺序也不能证明语言作了保证。 相关卡片:并发只约束部分执行顺序。

并发活动访问共享资源时,需要通过同步明确何时可访问、何时释放,防止冲突。独占访问是一种策略,不是所有共享资源同一时刻只允许一个读者;多个只读者可按合适协议共享。所保护数据与所有访问路径必须一致,访问权不会因某处加锁就自动附着到变量。 相关卡片:共享访问权按冲突规则协调。

同步通信要求交互双方在规定点接通,异步缓冲让发送方暂时不等接收方准备好,数据先存中间结构。缓冲有资源与容量约束,填满后仍需背压、拒绝或其他策略;原文“不加延迟发送”是理想化描述,不能外推为无等待、无丢失和跨发送者统一顺序保证。 相关卡片:缓冲把通信等待延后。

管道传字节流,消息队列按消息传送,共享内存则让不同进程访问共同映射的数据;信号侧重事件通知,同步原语协调访问。选择时要同时考虑数据边界、共享状态和生命周期,共享内存并不自动处理冲突。原书把信号称作唯一异步IPC、共享内存一概称最快都过于绝对,不能据分类名称替代具体等待与性能条件。 相关卡片:进程通信按交互方式选择。

程序是静态代码,进程描述其运行实例及资源状态。fork产生子进程,通常借写时复制共享尚未修改的物理页;exec则在现有进程中替换程序映像,不是再生成另一个进程。共享内存、打开文件等资源另有继承和共享规则,不能把“子进程是副本”理解为所有资源都完全独立。 相关卡片:进程为运行实例提供资源边界。

PID在相应命名空间里标识进程,os.Getpid与os.Getppid可取得当前及父进程编号;编号可重用,不携带业务身份或存活保证。原稿连续递增与init父进程的描述是简化,不能按PID大小推断严格创建顺序;父进程退出后的收养也可能由子收割者承担。 相关卡片:进程标识只用于定位实例。

R表示可运行而未必正占CPU,S、D等状态表示不同等待条件,T类用于停止或跟踪。僵尸已经执行结束,只保留退出状态等供父进程等待回收;不是仍在运行等待下一次调度。原书固定六或七种状态是当时的概括,具体内核版本与观测工具的状态分类不能混为一谈。 相关卡片:进程状态区分可运行与等待。

子进程退出后,父进程通常通过wait类操作取得状态并完成回收;忽略SIGCHLD或特定标志会改变行为。exec替换程序映像不会自动解除父子关系,也不保证免于僵尸,原书把加载新程序同“分离”及直接退出状态相连不准确。Go启动外部命令后同样需履行Wait协议。 相关卡片:退出程序不等于完成子进程回收。

每个进程通过页映射访问虚拟地址,物理页框可独立,也可按共享内存等协议共享;未映射或暂不驻留的页不意味着已分配等量物理内存。用户空间与内核空间属于权限和虚拟地址布局,不是简单把物理内存按固定比例切开。实际可用地址宽度与布局依体系结构及系统配置。 相关卡片:虚拟地址将访问与物理存储分开。

用户程序通过系统调用请求受内核管理的服务,执行进入内核态后再返回结果。普通库函数可以封装一次、多次或不使用系统调用,原稿封装例程一一对应不是普遍保证。用户态/内核态切换不等同于进程切换;系统调用也可能阻塞或被信号中断,不能一概认为原子不可中断。 相关卡片:系统调用跨越特权边界提供服务。

调度决定何时运行哪个可运行任务,上下文切换保存当前执行状态并恢复另一个任务。交错执行使单核也能组织并发,多核则可真正同时执行多个任务;原稿“同一时刻只有一个进程运行”只可限于一个处理器执行上下文。切换成本需同吞吐和响应目标权衡。 相关卡片:调度选择与上下文切换职责不同。

两个迁移进程读到相同计数器后处理相同行区间,会重复查询并写入相同文件;仅提前更新或更新前再读一次,仍可能交错或漏区间。应把领取区间与推进计数器作为受共同协议保护的原子步骤。原书解决的是并发分配,不能据此推断领取后崩溃、写文件失败也已获得事务性保障。 相关卡片:读取再更新不能独占领取任务。

共享状态的读取、判断和更新若缺少必要顺序,外界可在两步之间改变条件,使结果依赖运行交错。缩短时间窗只可能减少出现机会,不建立正确性保证;多核同时执行也会发生,不能把根因只归于单核进程被中断。重现罕见不等于风险不存在。 相关卡片:竞态由未协调的冲突交错触发。

原子操作让并发观察者不能看到该操作的中间状态;其实现可能借硬件指令或重试协议,不要求所有情况只用一条汇编指令。临界区则用互斥协议让冲突访问按次序进入,持锁线程仍可能被调度。保证须针对具体对象和边界,不能扩成所有系统调用、任意复合业务都绝对原子。 相关卡片:原子性描述观察效果的完整性。

Linux管道有读端与写端,不保留应用消息边界;匿名管道通常通过继承或传递描述符共享,FIFO通过文件系统名称让无亲缘进程连接。两者都需要正确的端点与关闭协议,不能把“匿名”理解为语言上只允许父子关系,也不能把它当自带结构化消息的队列。 相关卡片:管道提供单向字节流通道。

exec.Command构造命令,StdoutPipe在Start前取得输出,消费输出后再Wait等待结束并回收资源;不能对StdoutPipe简单用Run代替这一协议。标准输入端若用于发送数据,发送完成要关闭以传达EOF。每个成功Start的命令都需对应Wait,不能只等待流水线最后一项。 相关卡片:命令管道先接通再启动并回收。

io.Reader可同时返回n>0和错误,调用方应先处理这n个字节再决定是否结束;n缓冲区也不代表已经EOF。原稿通用循环先遇err就break会遗漏允许同时返回的数据。ReadLine是另一种特定契约:isPrefix=true表示这一行还有片段,false才表示最后一段,原书条件方向写反。 相关卡片:读取结果先保留已读字节。

示例把第一个命令输出WriteTo第二个命令输入后才Start第二个命令,数据一旦超过管道容量,写者便可能阻塞,后面的Start永远到不了。应先启动读者并让传输与消费并发推进,处理复制错误、及时关闭输入,最后回收所有命令。少量示例碰巧成功不能证明任意输出量都可用。 相关卡片:先写满再启动读者可能死锁。

os.Pipe创建系统支持的匿名管道并返回*os.File两端,并不创建带路径的FIFO;io.Pipe创建进程内同步管道,以读写配对传递数据且无内部缓冲。原书把os.Pipe称命名管道不准确。io.Pipe可供并发调用,Write通常须等相应读者消费,不因在内存中就自动永不阻塞。 相关卡片:系统管道与内存管道有别。

写端全部关闭并排空后读端获得EOF;没有读者时写入会失败或触发相应信号,所以关闭一端会影响另一端,原书相反描述不准确。系统管道有有限缓冲,短写与容量条件都须处理;小数据先写后读可能成功,不能把顺序读写一概说成必然永久阻塞。 相关卡片:管道关闭会改变另一端行为。

Linux保证符合PIPE_BUF及阻塞模式条件的单次写入不与其他写者交错,大于该界限则可能交错;这与管道总容量、一次read返回长度都不同。原书一概称系统管道没有原子支持不准确。应用仍需设计消息分隔与多写者协议,不能把多个write当一个自动事务。 相关卡片:管道写入原子性有大小条件。

信号通知事件,进程可按规则选择默认、捕获或忽略;SIGKILL和SIGSTOP不能捕获、阻塞或忽略。标准信号在待处理期间可合并,不是整个进程一生只处理一次;实时信号可排队,同种按发送顺序,异种还有编号优先级。数量和编号依系统架构,不能照抄一张终端截图为通用表。 相关卡片:信号传达事件而非可靠消息计数。

Notify把选定信号转发到通道而不等待接收者;通道满时可能遗漏通知,容量1并不保证任意速率下全部保留。注册SIGINT后只打印却不退出,会改变原来的中断行为。应明确哪些信号用于退出、重载或其他动作,不能以订阅所有信号代替完整处理。 相关卡片:信号通知通道要容纳突发事件。

Stop©返回后信号包不再向c发送,却不会自动关闭c;若仍range等待,需由通道生命周期的拥有者在确认没有其他发送者后关闭,或用另外的结束协议退出。停止一个通道不必然恢复所有信号默认行为,其他通道仍可能有订阅。先关闭再Stop可能留下向已关闭通道发送的风险。 相关卡片:停止注册不自动关闭接收通道。

对同一通道多次Notify会扩充所订阅集合,原书称再次调用可删去某些信号不正确。要缩小集合,先Stop解除该通道注册,再按目标集合重新登记;其他通道的订阅不随之撤销。不同通道可分别收到同一信号通知,不能把它们当竞争消费的同一个队列。 相关卡片:重复信号注册扩充而非替换。

WaitGroup只等待Add登记的任务调用Done,不会令持续Accept或range信号的循环自行退出。信号示例留下sigRecv2未关闭,网络示例服务端也没有退出条件,因而“全部等待完即自然结束”并不成立。要先设计取消、关闭监听或结束通道,再等待任务回收,不能只加Done就认为生命周期完整。 相关卡片:等待计数不负责结束长期服务。

os.FindProcess在Unix上可为给定PID建立句柄,即使当时进程不存在;真正Signal操作仍可能失败。名称匹配ps输出可能选错实例,PID也可重用;给自身发信号宜直接取os.Getpid而非grep。go run命令进程与目标程序进程的身份要区分,但不能由二者PID不同就断言无父子关系。 相关卡片:进程句柄不是存在性证明。

socket的域决定地址与通信范围,类型决定流或记录等语义,协议指定该组合的实现。IPv4、IPv6和Unix域只是常见例子,不是Linux全部地址族;Unix域适用于本机通信。文件描述符标识当前进程打开的端点,不能把它当作跨进程永远相同的网络地址。 相关卡片:套接字选择域类型和协议。

TCP流不保留每次应用写入的消息边界,UDP数据报保留报文边界但不提供TCP式可靠有序传递。无连接不表示同一个套接字只能收或只能发;SOCK_SEQPACKET则提供有连接、有序、保留记录边界的传输。原书把它概括为普通字节流以及禁止UDP同端点双向读写都不准确。 相关卡片:流与数据报的边界保证不同。

Listen建立监听端点,Accept返回代表某次连接的Conn,Dial在客户端建立对应连接;Listener与单次Conn承担不同生命周期。LocalAddr和RemoteAddr返回Addr以表达两端地址,而不是读取另一端程序业务身份。下面只列原书实际使用的关键签名,接口仍有其他方法。 相关卡片:监听器接纳连接后交给连接对象。

Listen的地址是本地绑定目标,Dial的地址是远端,客户端本地端口通常自动分配;名称只须能被当前解析机制解析,不必一定注册公网DNS。DialTimeout限制建连等待,不能把Linux固定75秒当作跨环境保证。它不自动成为连接建成后的全部业务读写期限。 相关卡片:网络地址与拨号预算分别配置。

Go网络实现可在底层非阻塞套接字上借运行时轮询提供等待式Read、Write与Accept;应用通常不自行忙等EAGAIN。内部等待和错误处理被封装,不意味着业务接口没有阻塞,也不要求每个平台实现完全相同。读写是否完成应依据公开API返回的字节数、错误与期限。 相关卡片:底层非阻塞不代表调用立即返回。

Read返回本次有效字节数,只处理b[:n]即可,无需每次把整个缓冲区清零,也不能默认会填满它。TCP应用须按长度、分隔符等协议分帧,部分消息要继续收集,多条消息也可能一起到达。通用读取仍须先保留n>0数据再处理错误;EOF表示读方向结束,不直接证明所有业务交互完成。 相关卡片:一次读取不对应一个完整消息。

bufio.Writer先聚合写入,Flush将残留数据交给底层Writer;成功写入用户缓冲不等于已到对端。大块写入可能绕过自身缓冲,应按接口检查n和err。网络超时可伴随部分已写数据,直接重发整个业务请求可能重复生效,是否可重试要看协议与幂等保障。 相关卡片:缓冲写入需要显式提交并查错。

Conn.Close使本连接上阻塞的Read与Write返回错误,帮助退出等待并释放资源;错误识别应依据类型和受支持契约,不能依赖固定英文文本。关闭监听器用于停止Accept,与关闭已接纳连接不同;是否等待发送缓冲全部传完还取决于具体连接和关闭配置。 相关卡片:关闭连接解除本地挂起读写。

SetDeadline接受绝对time.Time,影响当前挂起及未来的读写,读写可分别设定;零值取消。一次设置可用于整段交互总预算,每次成功后延伸则可用于空闲预算,两种都可能正确。原书把循环前设置一概说成设计错误不准确;超时后仍可设未来期限,写入已发生的字节也不会自动回滚。 相关卡片:截止时间持续影响后续读写。

把格式化集中在printLog便于替换日志实现,但共享logSn++由多个处理goroutine调用时仍是未同步的读改写。应由锁、原子计数或单一记录者协调,输出顺序与编号分配顺序也要分别约定。封装降低修改范围,不自动建立并发正确性。 相关卡片:日志封装不能消除共享计数竞态。

Accept返回错误时,示例只打印后仍调用conn.RemoteAddr并交给handleConn,可能使用无效连接。应在失败分支决定重试、退避或退出,仅成功后才交接连接。并发处理可避免慢连接串行阻挡后续连接,但还需限制资源与设计关闭,不是无上限启动任务即可完成服务治理。 相关卡片:接收失败后不能继续使用空连接。

每次读消息都对同一连接新建bufio.Reader,旧Reader预读到的后续字节会被遗弃,新Reader又从更后位置继续,造成漏消息或破损。应在连接生命周期内复用同一Reader,并循环切分消息;逐字节读取虽避免预读问题,却不是唯一正确方案,还需处理有效长度及最大消息大小。 相关卡片:重复新建缓冲读取器会遗失预读。

服务端在read完整消息之前只设置一次10秒期限,所以它限制本次消息读取总时长,并非每收到一个字节就重新计算空闲10秒。客户端需求写5秒而代码使用5*time.Millisecond,也存在单位冲突。应先定义总预算、消息预算与空闲预算,再把更新时点和单位对应到实现。 相关卡片:每条消息期限不同于字节空闲期限。

示例固定发送五次、等待五个响应,写失败却continue时,完整请求数可能不足五个,还可能留下半条消息。接收端继续等固定数量只能等到超时。应按协议处理部分写入和失败后的连接状态,只有确认完整发送的请求才进入待响应集合,或结束这次交互。 相关卡片:请求失败须同步调整响应预期。

先启动server再Sleep(500ms)只是假定初始化足够快,慢机器或启动失败时客户端仍可能过早连接。应由监听成功后发出明确就绪事件,失败也传达,再启动客户端;业务完成后另有关闭协议。等候时间不是两个任务间的成功依赖关系。 相关卡片:固定等待不能证明服务已就绪。

POSIX约定可移植操作系统接口,NPTL是在Linux上的一种线程库实现;接口契约不等于唯一的内核实现路径。pthread_create等是线程库函数,原书多次称为系统调用不够准确。Go依赖操作系统线程这一事实,也不说明所有Go线程操作都必经这些pthread函数。 相关卡片:接口规范与线程实现需要区分。

同一进程的线程共享地址空间、代码、堆及文件描述符,各自保存栈和执行进度,因而传递共享对象方便,也容易产生冲突。线程栈在用途上属于各自执行状态,却不形成同进程内不可访问的内存隔离。线程不能独立于所属进程存活,局部变量里保存指针也仍可能访问共享对象。 相关卡片:线程共享进程资源但保留执行状态。

POSIX的pthread_t是库接口使用的线程标识,通常只保证本进程相关生命周期内唯一,应按相应接口比较;Linux gettid返回的内核线程号是另一概念。标识也可复用。原书将两种线程ID连续叙述容易混淆,不能据一个数字相同就把库句柄、PID、内核TID当同一实体。 相关卡片:线程库标识不同于内核线程号。

pthread_cancel发送取消请求,目标何时响应取决于取消状态和类型,默认延迟到取消点;函数成功不证明目标已终止。要确认可连接线程结束,仍需join等协议。取消还涉及清理及共享状态一致性,不能把它当随意停止任意代码的安全操作。 相关卡片:取消线程是请求而非完成回执。

join等待可连接线程结束并取得返回结果,detach则声明终止时自动回收,不再允许join。已结束但未连接的可连接线程会保留资源,不能长期遗留。这里的“僵尸线程”是资源未回收的描述,不应机械等同于Linux进程表里的僵尸进程状态;分离也不会把线程移到另一个进程。 相关卡片:连接与分离规定终止后回收。

普通工作线程的入口函数return或pthread_exit结束该线程;main返回或exit会结束进程及其线程。主线程若调用pthread_exit,其他线程可继续运行。以上是本节POSIX/C语境,不能直接套成Go主函数返回仍会等待goroutine;跨语言比较必须先明确终止层次。 相关卡片:结束线程不同于结束整个进程。

等待事件的线程睡眠,被通知后转为可运行,再等待调度与必要锁,不能把唤醒当成马上执行或获得共享数据的承诺。调度器还需考虑不同任务资源使用与公平性。图中的状态是教学抽象,实际内核状态名与线程库资源回收阶段不是同一套层次。 相关卡片:唤醒只获得重新竞争的机会。

原书用激活/过期优先级数组及时间片解释线程轮转,能说明待运行与已用配额的组织方法,却不是现代Linux调度器的通用契约。官方CFS文档已使用按虚拟运行时间组织的树,并说明后续EEVDF演进。不能据旧图推断当前所有策略都严格按该数组顺序选下一线程。 相关卡片:调度队列结构属于版本实现。

让线程尽量留在同一处理器有利于缓存和就近内存,迁移则可缓解一边忙一边闲的负载。迁移本身也有状态和缓存成本,不能把分散任务越均匀就必然越快当成通则。实际策略还受亲和性、调度类别与资源限制,原文负载系数只是理解入口。 相关卡片:调度局部性与负载平衡相权衡。

M:1把多个用户控制流放在一个内核调度实体上,管理便宜却难利用多核,阻塞调用可拖住全部;1:1让内核分别调度,资源管理较重;M:N由用户运行时把多个控制流调度到多个内核实体,灵活但实现复杂。M:1仍能交错并发,不能把不能并行写成不能并发;具体IO策略也会影响阻塞传播。 相关卡片:线程模型按两层映射取舍。

共享数据若在安全发布后不再改变,读取通常无需为每次访问争用互斥锁;可变计数器则需要同步使读取和推进符合协议。不可变指完整的可观察对象,不只是某个局部变量不再重新赋值;内部仍引用可变数据时,不能由外层不变推出全部线程安全。 相关卡片:不可变数据减少协调需求。

普通非递归互斥锁不能让同一执行者反复加锁而指望自动成功,使用后须及时成对释放。POSIX还存在递归、错误检查及健壮锁,失败与恢复语义各有区别;原书“任何已锁定对象再次加锁必定失败”过强。其线程所有者规则也不能直接替代Go Mutex的独立契约。 相关卡片:互斥规则应按具体锁类型解释。

所有访问相关共享状态的路径应遵守同一把锁或等效协议,锁内完成读取、判断、更新等完整状态转换。计数器领取例中必须共同保护获取和递增,而不是分到两把锁里。锁初始化须在使用前完成且不重复破坏;等待同一锁的线程仍可能被调度,互斥保证访问顺序而非禁止中断。 相关卡片:同一不变量须用共同保护协议。

线程A持α再等β,线程B持β再等α,双方都等对方先释放,形成死锁。应统一获取顺序,或在无法取得全部所需锁时释放已有锁并回退;还需检查临界区之间是否真有必要嵌套。死锁不是锁的唯一风险,长时间等待、饥饿与失败时未释放也会破坏运行。 相关卡片:相反加锁顺序形成等待环。

先持一把锁再试取其他锁,试取失败便释放已持锁并重新尝试,避免在持锁时无限等待另一把锁。若获取之间已经改了业务状态,还须有相应回退,不能只解锁就假装没有发生。反复同步重试还可能活锁或饥饿,需要退避或其他协调,不能据不阻塞就宣称总有进展。 相关卡片:试锁失败须回退完整中间状态。

所有路径按统一顺序取得同一组锁,使持有后序锁却等待前序锁的环不成立。顺序必须覆盖不同函数及调用链,而不只是一个示例中两次获取;释放通常逆序以保持嵌套边界。它限制了灵活性,但往往比运行时回退容易解释;不会自动修复其他资源等待或错误的状态协议。 相关卡片:固定锁序消除相互等待环。

条件变量不拥有队列内容,而是配合互斥锁,在共享状态不满足条件时等待通知。wait、signal与broadcast分别用于等待、通知一类等待者及唤醒所有等待者;通知不是可累计消息,也不是操作系统信号。正确性依赖持久存在的共享状态谓词,不能只记“有人通知过”。 相关卡片:条件变量协调状态变化的等待。

生产者持队列锁发现队列满,若仍持锁循环等待非满,消费者无法取走元素,条件便永远不能改变。反复解锁再加锁虽允许其他任务推进,却浪费轮询资源。条件变量让等待者释放锁并睡眠,在状态改变后重新取得锁检查,解决互斥之外的协作等待。 相关卡片:持锁等待条件会阻断改变条件者。

wait在持锁检查不满足后,将解锁与进入可被通知的等待状态原子衔接,返回时重新持锁。这样改变状态的线程取得锁并通知时,不会恰好落入未登记的空隙而丢失这次唤醒。原书将其解释为“真正睡眠前别人绝不可能取得锁”过强;保证针对通知与等待的相对观察关系。 相关卡片:等待原子衔接解锁与登记。

被唤醒后,别的等待者可能已经抢先消耗资源,POSIX还允许伪唤醒,所以应在同一锁下循环检查谓词,不满足再wait。用if检查一次后直接入队可能撞上已满队列;循环既保护业务条件,也处理过剩通知。具体Go Cond的唤醒保证另按其API,但同样不能省掉状态重查。 相关卡片:条件等待返回后必须循环检查。

有界队列以同一锁保护状态,非满条件供生产者等待,非空条件供消费者等待;取走后通知非满,放入后通知非空。两个条件各指向适当等待者,避免把通知交给不相关的一类任务。通知不储存,检查、修改及wait必须遵守共同锁协议,不能仅靠一连串signal传递业务事实。 相关卡片:队列用两个条件区分可读可写。

一次状态变化只够一个等待者继续时,单发可减少无效唤醒;条件多样或多个等待者都可能满足时,广播让各方自己重查。通知并不替等待者保留资源,也不自动保证公平性;原书将竞争后条件不再满足也称伪唤醒,与POSIX允许的无通知唤醒需要区别理解。 相关卡片:通知范围按等待条件选择。

线程安全指按契约并发调用仍正确,可通过互斥实现;可重入还关注执行未完成时再次进入能否安全,例如被信号处理打断后重入。只加同一非递归锁可能使这种重入死锁。原书将可重入近似为并发等价串行过于宽泛,返回受保护的独立快照也并非一概不安全。 相关卡片:线程安全与可重入不能混同。

复制到局部变量只隔离副本使用阶段,复制时若正与写者冲突,仍可能读到中间状态。浅复制还会保留对子对象的引用;需要独立快照时,应先在同步或不可变版本下取得一致内容,再按需求深复制。不能把“变量在线程栈”当成对象独占或忽略复制成本的证明。 相关卡片:复制共享对象也需要一致读取。

线程共享资源便利,但同步与错误影响范围都需要设计;进程边界让独立程序、地址空间与生命周期更易隔离,却增加IPC和资源管理成本。选型要围绕任务、语言支持和故障边界,原书对Go或线程绝对优越的评价不能当所有负载的性能结论。 相关卡片:线程与进程取舍包含隔离成本。

响应时间衡量请求到约定结果可用的耗时,吞吐量衡量单位时间完成多少工作;先明确是首部分结果还是完整完成,才能比较。并发可以重叠等待与计算,却也引入协调。多核提供并行资源,不会自动将串行程序等比例加速,正确性仍必须在各种交错下成立。 相关卡片:并发性能同时看响应与吞吐。

把无关慢操作移出临界区可减少等待;关联状态不能为缩短代码块而拆开保护,否则破坏业务不变量。较大锁实现简单,细分锁可能提升独立资源并行度,却增加协调与死锁分析成本。选择依据应是访问关系和测量,不能机械追求锁越少、临界区越大或越小。 相关卡片:锁粒度按关联状态与争用划分。

增加核心后,串行临界区、缓存协调及争用可能让加速趋平甚至下降。先排除无关IO和冗余锁操作,再按不变量优化算法与粒度;单一原子操作可替代适合的简单锁协议,但不保证复合不变量或永远更快。不能为了扩展指标牺牲正确性,需在相同负载下测量。 相关卡片:扩展能力受串行与协调成本限制。

通道可把数据或使用权的交接组织为通信协议,让不同goroutine在明确的点协作;它不意味着数据已经自动变成独占副本。若传递指针、切片等且发送方仍访问同一底层对象,冲突仍须同步。共享状态适合锁时也可使用锁,通信原则不是禁止一切共享内存。 相关卡片:通信协议明确共享数据的交接。

原书以G表示goroutine任务,M表示操作系统线程,P表示执行Go代码所需上下文及本地队列;M取得P后运行G,关联随调度变化。图仅复述原书模型符号和已展示字段名,不是当前runtime完整结构声明。G不是固定绑定某条线程,P也不是一颗物理CPU,不能将三个数量混为一谈。 相关卡片:任务线程与执行上下文协作。

空闲M列表让运行时有机会复用已建立的系统线程,G的自由列表则缓存已完成的任务对象用于重新初始化。停止一个M等待唤醒不等于销毁线程,G对象重用也不让旧任务继续执行。全局清单、本地工作队列与复用容器各有职责,字段名及精确流程属于Go1.3实现范围。 相关卡片:线程复用与任务复用各自管理。

debug.SetMaxThreads限制程序可用的操作系统线程数并返回旧设置,超过限制会导致程序崩溃,不能当可recover的普通错误。它控制M对应线程而非goroutine数,也不是10,000条线程能同时获得CPU的保证;操作系统资源和Go执行预算另有约束。限制主要用于约束异常线程增长。 相关卡片:线程上限不是可并行任务配额。

GOMAXPROCS限制可同时执行Go代码的资源额度,在模型中对应P数量,不限制全部goroutine或全部OS线程。阻塞系统调用可能占住线程,运行时可让其他线程继续利用可用P。原书默认1、上限256是Go1.3历史规则,当前默认还受CPU、亲和性及环境等影响,不照搬旧常数调优。 相关卡片:执行预算与线程数量不同。

G可运行表示等待执行,运行态表示已在执行,等待态表示须等事件,系统调用态另由相应路径处理;已结束G可被重新初始化。P也有空闲、运行、系统调用及停机协调等内部状态。原书的枚举与转换图属于Go1.3模型,不把旧状态清单当稳定API,也不由唤醒直接推出马上执行。 相关卡片:执行状态决定能否调度任务。

runq保存尚待执行的任务,gfree保存可重新初始化的已完成G对象。系统调用退出后若不能直接继续,应进入可运行队列,而非自由列表;原书该段把两者混写。区分排队工作与对象池可避免把“有空闲对象”误当“已有待运行任务”,全局清单也不代表每个G都可立即执行。 相关卡片:可运行队列与自由列表不可混同。

调度器是运行时管理执行资源的一组逻辑,各M都可能执行相关步骤,不是只能由一条中央线程逐个安排。它挑选工作、处理线程绑定及停机协调,再让M运行G。runtime还包括GC、栈和其他设施,不能把全部运行时与调度器等同;概念上的单一流程图不取消其内部并发。 相关卡片:调度逻辑分布在多条线程上。

原书通过gcwaiting、stopwait及通知说明Go1.3停机协调:请求各执行上下文到达安全状态后再执行需要一致视图的工作。这是理解安全点和全局协调的入口,不能作为当前GC全部工作都暂停应用的结论;现代GC多数工作与应用并发,仍保留必要的短暂停机阶段。 相关卡片:停机协调不等于GC全程暂停。

调用LockOSThread使当前goroutine保持在当前OS线程上,适合依赖线程本地状态的系统服务或非Go库。当前规则需同次数UnlockOSThread才解除,原书多次绑定被最后一次覆盖不正确。绑定增加调度限制,应围绕实际线程亲和契约使用,不能当作一般加速手段。 相关卡片:线程绑定用于依赖线程私有状态。

调度器可从本地、全局、网络就绪任务或其他P的队列寻找工作,必要时转移一部分任务以平衡资源;无工作时可让线程休眠,避免一直空转。精确搜索顺序、队列大小及偷取数量是版本实现,不保证所有任务严格FIFO、等时或固定截止前得到运行机会。 相关卡片:寻找工作综合队列与就绪事件。

当连接暂不可读写,网络轮询可登记就绪事件,让相关G等待并释放其执行机会,其他G继续推进;事件到来后再把G变为可运行。epoll或kqueue通知的是就绪,并不替应用完成消息读取或保证整条消息到齐。这样提供等待式API,也不意味每个阻塞IO都以相同方式释放OS线程。 相关卡片:网络轮询将IO等待交还调度器。

sysmon周期性检查网络就绪、长时间系统调用及持续运行等情况,为普通调度路径补漏并产生跟踪信息。原书20微秒、10毫秒与合作式通知是当时实现说明,不是实时任务保证。Go1.14已引入异步抢占,不能照搬“无函数调用循环必可永远忽略抢占”的旧结论。 相关卡片:系统监测补充运行时调度。

GOMAXPROCS(n)返回旧值,非正值查询而不修改;变更可能需要协调P并重新安置待运行G及缓存。旧书详述的是Go1.3重建/废弃流程和128队列容量策略,不能当成当前实现契约。应按运行环境与测量选择预算,不因核心多就反复在线修改,也不能把更大值当成普遍加速。 相关卡片:调整执行预算会触发资源重组。

每个M有用于调度等运行时工作的系统栈,原书以g0说明它与普通用户G的差别;m0/g0又承担启动阶段的特殊角色。它不是程序用go提交的业务任务,也不按普通任务队列调度。GC还会使用专门工作goroutine,不能由g0参与管理就推断所有GC工作都只在g0执行。 相关卡片:系统栈与用户任务栈承担不同工作。

多个M可能并发修改调度状态、全局队列与计数,因此运行时也需要锁、原子操作等协议。为了易读而省去加解锁的流程图,不能证明实现没有这些成本或可以任意重排。理解调度既要看功能步骤,也要看哪些状态转换必须作为整体观察,不能把语言运行时当作并发规则的例外。 相关卡片:运行时自身也必须同步共享状态。

GODEBUG=schedtrace=X按毫秒间隔输出调度概要,配scheddetail=1增加状态细节;可看执行预算、空闲资源及待运行队列等。它提供时点附近状态,不是每次G切换的完整事件流,也不能仅凭某次runqueue=0断言全部任务完成。原书字段和格式随版本变化,本轮未运行该演示。 相关卡片:调度跟踪是状态采样而非全轨迹。

原书依据 · 92 处

07 Goroutine和Channel

goroutine创建、完成与可见性需要分开,通道把值交接和同步关系结合起来。方向约束接口能力,缓冲允许有限领先,select处理多路通信但不承诺源码优先;计时器和取消又有独立生命周期。载荷发生器把速率、票池、超时与结果递交串联,也暴露共享标志、关闭竞态、取票取消和完成通知的组合难题。

go后必须是允许的函数或方法调用,函数值与实参先在当前goroutine求值,再让调用独立执行;匿名函数也不能漏最后的调用括号。被调函数自己的返回值会被丢弃,需要结果时另用通信等协议传递。创建任务不代表它已完成,也不保证它比下一条语句先运行。 相关卡片:go调用先求参数再并发执行。

main返回会结束程序,不自动等待其他goroutine;Sleep和Gosched只改变执行机会,均不保证特定任务已经运行完。即使观察到打印,也不构成后续共享读写的同步关系。应通过通道、等待组等显式完成协议等待,原书将Gosched称为更保险或简单有效只可理解为演示机会。 相关卡片:让出执行机会不是完成同步。

goroutine闭包读外层name时,外层又写name且无同步,就产生数据竞争,不能保证一定打印Harry或Eric。旧循环复用变量还可能让多个闭包观察最后值;Go1.22语言语义下循环声明变量每轮独立,但复用外部变量仍需同步。不能用一次Gosched或机器上偶然结果证明顺序。 相关卡片:闭包捕获共享变量会产生竞态。

go func(who string){…}(name)在调用发起方先读取并复制name的值,任务用独立参数,避免再读取会变化的外层变量。参数复制不等于深复制:切片、map、指针或含引用的结构体仍可共享底层对象;外部只是重新赋变量与修改同一对象也要区分。结果正确还需另外等待任务完成。 相关卡片:显式传参固定当次输入值。

运行时建立必要线程、栈与系统任务后,程序按包依赖和初始化规则完成init,再执行main。main包可以分多个文件且有多个init,原书只容许一个命令文件的说法不正确。其内部goroutine序号、scavenger创建步骤和固定周期是历史实现细节,不是业务可依赖的启动契约。 相关卡片:启动初始化先于主函数执行。

runtime.Goexit结束调用它的goroutine,先执行其defer;它不是panic,所以其中recover得到nil,也不会直接停止其他goroutine。main goroutine调用Goexit也不同于main正常返回,其他任务可继续但须有正常的程序结束路径。理解它有助于解释测试FailNow,不能用它替代任意业务取消协议。 相关卡片:主动退出任务仍会运行延迟调用。

NumGoroutine给出当前存在的goroutine数量,其中可含运行时任务,且状态会继续变化。它适合辅助观察增长或泄漏迹象,不能以等于某个常数推断自己的全部请求完成、结果可见或没有后台工作。任务完成应由应用协议计数及同步,不与全进程运行时数量混用。 相关卡片:协程数量不代表任务完成。

debug.SetMaxStack以字节设置单个goroutine栈可增长上限并返回旧值,只约束之后的扩栈,不是立即收缩全部栈。无限递归可能触发越限并使程序崩溃,不能当普通可recover错误。它也不是每个goroutine一开始就分配这么多内存,更不能用最大上限估算日常栈占用。 相关卡片:栈上限在未来扩栈时约束。

GOGC及SetGCPercent设定相对存活数据的增长目标,SetGCPercent返回旧值;原书用上次存活量乘百分比解释增量,是Go1.3的简化模型。当前目标还受根及内存限制等影响,负值也不能抹去内存限制的作用。调节要权衡CPU与内存,不因公式简单就保证固定触发时刻或峰值。 相关卡片:垃圾回收比例调节增长目标。

runtime.GC主动发起GC并等待该轮完成;debug.FreeOSMemory在GC后尽可能归还可释放内存,运行时本身也会在后台归还。回收对象、使内存可复用和降低进程驻留内存不是同一步。不能沿用原书把清扫和归还完全等同,或认为关闭自动GC就让主动GC及内存限制都失效。 相关卡片:收集堆垃圾与归还物理内存有别。

happens-before结合单个goroutine内的顺序与同步操作建立跨goroutine偏序,不是比较墙钟上谁碰巧先执行。两个操作没有先发生关系叫并发无序,并不要求物理上同一瞬间发生;调度机会、短暂休眠及观察日志都不能凭空建立这条边。同步语义须按锁、通道等具体契约解释。 相关卡片:先发生关系是同步建立的偏序。

读者要可靠观察某次共享写入,需要写入先发生于读取,并排除中间冲突写;只因现实时间上先写了还不够。Go语句发起在新goroutine开始之前有同步关系,但goroutine结束本身不保证与其他事件同步。要把任务结果交给另一方,应通过通道、锁等明确发布,避免无序的普通读写竞争。 相关卡片:安全发布让初始化结果可观察。

多字值、结构体及引用描述可被分成多个部分读写,竞争时可能看到并非任何一次完整写入的组合,例如不匹配的指针与长度。机器字大小也不自动使任意业务读改写原子;必要时使用锁或受支持的原子协议。原书用两条指令解释64位写入只是示例,具体指令数和对齐依平台实现。 相关卡片:复合值竞争可能拼出不一致状态。

chan T可收发T,chan<- T只允许发送,<-chan T只允许接收;方向是类型的一部分,限制当前代码可用的操作。通道零值nil,通常用make创建,不能用元素字面量直接列出一个通道。type IntChan chan int是新定义类型,不能按现代别名语法解释。 相关卡片:通道以元素类型和方向约束通信。

make(chan T,C)固定容量C,满时发送等待,空且未关闭时接收等待;C=0时即使显式传0也是无缓冲,需双方配对。nil通道收发会一直阻塞。map的make大小参数是提示而非初始元素数量,不能用原书对map的错误类比解释通道长度。 相关卡片:缓冲容量决定何时需要另一方。

通道发送与对应接收完成之间有同步顺序,因此接收者可观察发送前按规则发布的数据;发送完成不证明接收者已经处理或持久化。缓冲允许发送方领先,容量C还约束接收与更后发送的完成关系。不要把内部复制步骤或两个操作完成的墙钟先后当成完整内存模型。 相关卡片:发送建立可见性而非处理完成。

通常由发送方或协调者在所有发送都结束后关闭通道,使接收者知道不会再有新值。关闭nil或已关闭通道、向已关闭通道发送都会panic,select也不能自动避免向关闭通道发送的panic。角色名称不是绝对权限规则,关键是关闭者能证明不再有发送与重复关闭。 相关卡片:关闭权属于发送结束协议。

通道按已发送元素保持FIFO,某个值由一次接收取走,不是自动广播到所有接收者。多个并发发送者的发送先后及唤醒后的实际运行次序仍不应猜测;原稿等待队列先入先出的实现描述不作为语言公平性保证。消息顺序若有业务含义,应在发送协议中明确。 相关卡片:通道顺序不等于发送者先后承诺。

Person示例中嵌套Addr只含字符串,改原结构体字段不影响已发送副本;这不证明通道执行深复制。发送切片、map、指针或含引用的结构体仍会共享底层对象,原书据无引用示例推出“完全复制和不变性”不正确。发送后谁可继续修改对象,应由所有权或同步协议决定。 相关卡片:通道传值仍然只是按值复制。

接收的ok=true说明取得发送过的值,哪怕该值是零值;只有关闭且无剩余值时才得到零值及ok=false。close已经使通道进入关闭状态,不是缓冲排空才算真正关闭;排空只是接收仍允许做的工作。原书较早的关闭立即零值与把ok说成通用成功标记均需据此理解。 相关卡片:关闭后先排空再报告无更多值。

cap是固定容量,len是当前缓冲元素数,均不代表活跃任务数或未来是否会阻塞。len刚读完就可能变化,先判断len再发送不构成原子保留。无缓冲通道len和cap都为0也仍可正常配对通信;根据瞬时长度判空后跳过,可能破坏业务协作。 相关卡片:通道度量不能替代收发同步。

将双向通道赋给单向参数或结果,只收窄操作能力,双方仍使用同一个通信对象;单向通道变量可以合法声明,例如保存返回的只读端。原书一概不应声明单向变量过强。显式方向转换与接口类型断言不同:接口保存chan T动态类型时,断言成<-chan T不会自动转换;不能据此推出只能靠函数参数变换方向。 相关卡片:单向视图约束一端而不新建通道。

PersonHandler.Batch只读原始人员通道并返回只读结果通道,Handle处理单个人员;PersonHandlerImpl以值接收者实现这两个方法。方向把调用方与实现方可做的动作写进签名,却不自动约定取消、错误或完成。示例没有实际展示处理策略如何实时替换,不能只凭接口声明声称该需求已经全部实现。 相关卡片:批处理接口区分输入输出角色。

Batch若在返回前把全部结果写入固定容量通道,调用方尚未拿到结果端,写满后便可能互相等待。把循环放入独立goroutine后立即返回接收端,调用方才能持续消费;输入结束后由该生产循环关闭输出。容量100只是有限缓冲,不能替代消费者并发运行及取消协议。 相关卡片:先返回结果端再异步推进工作。

获取、变更和保存人员信息可各自读取上一阶段并发送给下一阶段,让单条记录逐步穿过流程。若获取方同步灌满输入而保存方尚未启动,最终输出背压仍可能堵住全链;仅异步化中间Batch不够。协调者还应安排结束、错误与退出,不能把并发拆分一概称为比串行更高效。 相关卡片:流水线每一阶段都需能够推进。

for v := range ch反复接收,直到通道关闭且缓冲耗尽;发送专用通道不能作为目标,nil通道则一直阻塞。判nil只能避免未初始化的等待,不能保证生产者会发送或关闭。该形式适合单一输入流;要同时处理取消或多路输入,应另行安排select。 相关卡片:遍历通道直到关闭并排空。

进入select时按源码顺序各求值一次通道表达式和发送右值,即使最终未选择该分支;接收赋值的左侧表达式则只在该分支被选中后求值。创建定时器、调用函数或执行副作用若放入分支表达式,会在每次进入时发生,不能把它当成分支体内的惰性操作。 相关卡片:分支求值可先于通信发生。

select在所有能立即通信的分支中均匀伪随机选一个,并不遇到第一个可用分支就停止;源码顺序不构成优先级或有界等待承诺。没有可用通信时才选default,否则无default就等待。原书先讲第一个满足条件再讲随机的表述应以后者及规范为准。 相关卡片:可执行分支不按源码优先。

default让当前select无需等待,适合明确的尝试发送或丢弃策略,绝非通常必需。循环默认分支可能忙等,无缓冲发送不能配对时会直接跳过数据。原书每秒发送、两秒接收示例的50%只是某次时序观察,不能作为稳定概率或可靠投递协议。 相关卡片:默认分支选择不等待的代价。

select内无标签break只结束select,外层for马上又进入;关闭通道会使这种循环反复输出End。用return、带标签break或外层结束条件明确退出范围。若由外层ok控制,分支应赋给同一变量,避免:=声明局部ok遮蔽它;单独启动goroutine也不能保证不死锁。 相关卡片:退出分支不等于退出循环。

select中的nil通道分支不能通信,可把已完成的输入变量设为nil以停止监听;关闭通道却会持续可接收,若不移除会不断得到零值。所有分支都为nil且无default时会一直等待;是否构成程序死锁还取决于其他goroutine和退出协议。 相关卡片:空通道分支能暂时退出竞争。

循环外创建超时信号限制整个接收流程;每次迭代重新创建则限制本次等待。计时开始点决定实际预算,且超时与数据同时就绪仍由select选择,不能保证超时分支立即优先执行。退出等待也不会自动取消生产者,需让上游知道不再接收并处理清理。 相关卡片:超时预算按流程或按次计时。

原例每轮给外层timeout重新赋值,而延迟goroutine随后才读取timeout,会竞争或向下一轮通道发送。把每轮通道作为参数或局部不可变捕获,或使用time.Timer;容量1使单次通知在接收方已退出时仍可完成发送,理由不是不存在并发。 相关卡片:超时闭包应持有自己的通道。

无缓冲通道让发送与接收配对,并把接收同步到对应发送完成之前;接收之后的打印或业务处理并未因此排在发送方下一条语句之前。原例Received与Done的打印顺序不受该规则保证,缓冲版本也不能保证Done一定先打印。需要处理完成时再发送确认或等待专用完成信号。 相关卡片:同步交接不代表后续处理完。

cap能区分有无缓冲,却不能单独判断并发发送是否有收益;前置取数、处理开销和接收并发度才共同决定吞吐。无缓冲也能服务多个工作者,缓冲只是允许有限领先并吸收波动。先测量再选容量与并发度,不能由非缓冲一概推出并发无意义。 相关卡片:缓冲性质不决定并发的价值。

预填N个令牌,启动前取一个,工作结束归还,可使在途工作不超过N。必须覆盖错误与提前返回的归还路径,票数需大于0;原例cap(origs)/2在容量1时为0,会阻塞第一次取票。该机制限制活跃工作,并不自动提供工作完成、取消或公平调度。 相关卡片:令牌池限制在途工作数量。

关闭结果通道前要确定所有发送者均已结束且不会再启动。票池全部归还只有在停止发新任务、归还严格位于最后一次发送之后且没有其他消费者时才可作为依据;更清晰的是独立完成等待。原例纳秒轮询消耗调度资源,len检查并非普遍适用的关闭证明。 相关卡片:关停发送者需完成协议。

NewTimer返回*Timer,C是只读时间通道;原书*time.NewTimer属于类型笔误。Reset返回此前是否活动,不代表重置成功与否;Stop返回是否实际阻止本次触发,停止不会关闭C。构造器负责内部初始化,不能把零值字面量当作可运行定时器。 相关卡片:定时器返回值描述此前状态。

书中容量1和重置后残留旧时间描述适用于旧语义。Go1.23起默认定时器通道同步,Reset后不再读到旧设定的时间;旧版本需按独占接收协议停止并排空,不能与另一接收者盲目竞争排空。After便于一次超时,复用优化需先确认版本和实际分配成本。 相关卡片:定时器复用必须注明版本。

定时器就绪后仍须等待调度和接收,不能把设定间隔解释为精确完成截止。d<=0可表达立即到期,并非总是毫无意义。AfterFunc的C为nil,回调在独立goroutine执行;Stop不等待已经启动的回调,Reset可能安排与旧回调重叠,串行任务要自行协调。 相关卡片:到期触发不承诺处理时刻。

Ticker按周期提供通知,慢消费者可能丢失节拍,不代表逐次任务执行或完成;Stop不关闭C,range不会据此自动退出,需独立取消。当前Ticker还支持Reset,书中只有Stop及容量1的内部描述不能当跨版本契约。NewTicker要求正周期,Tick对非正周期返回nil。 相关卡片:周期通知允许丢失节拍。

要求上次任务完成到下次开始至少间隔10分钟,应按完成时刻重新计时。原例每轮额外读一次Ticker,旧缓冲里可能已有节拍,只能丢掉一个旧通知;下个周期可能很快到来,不能证明休息满10分钟。周期到点、任务耗时和相邻完成间隔必须分别定义。 相关卡片:固定周期不同于完成后休息。

吞吐、延迟、持续负载下的错误和资源使用共同描述给定环境中的表现;高峰数字不能替代长时间运行能力。先定义可接受的超时和正确响应,再看负载升高时它们如何变化。原例200毫秒和80%只是团队约束,不是通用标准;单次持续测试也不足以证明可靠性。 相关卡片:性能评测同时观察正确性。

lps控制单位时间计划发出的载荷数,并发量是同时未结束的交互数,两者通过耗时相关而不相等。QPS与TPS应按业务定义计数单位,不能机械等同读和写;事务也可含查询。区分计划发送、实际发出、完成及成功速率,才能解释发生器是否达到了预设负载。 相关卡片:请求速率不是并发用户数。

每个结果至少保留请求/响应、状态及交互耗时,关联Id贯穿请求、响应和结果。成功率应说明分母是已发、已完成还是收到结果;丢失与取消不能凭空消失。耗时也须说明是否含建连、排队与校验,不把不同时间窗中完成速率小于发送速率当无条件定律。 相关卡片:结果指标需保留明确分母。

resultCh采用*CallResult减少结构体复制并能用nil表示缺失,但通道只同步传递指针,不保护指向对象和[]byte底层数据。发送后应约定对象不可再修改或转移所有权。结构体值也可配合接收ok判断关闭,不必为了零值判断而强制选指针。 相关卡片:通道安全不代表结果对象隔离。

myGenerator负责节流、并发票池、超时和结果递交;Caller负责BuildReq、Call及CheckResp,把协议和响应规则留给实现。Generator暴露Start、Stop与Status,使使用者依行为操作;这是一种可替换边界设计,并非所有构造器都必须返回接口才能避免散弹修改。 相关卡片:发生器协调调用器提供策略。

在超时时间内按固定间隔持续发起,所需在途额度可粗估为超时时间除以发送间隔再加1。它是上限规划而非实测平均并发,更不是被测系统最大容量;实际耗时、调度、结果递交都会影响占票时间。timeoutNs/(1e9/lps)使用整数运算,还需处理截断、溢出和除零。 相关卡片:并发预算按速率与耗时估计。

GoTickets以Take取得可用额度、Return归还,Total与Remainder区分总数和剩余数;myGoTickets预填total个字节才使第一次Take可继续。对可用计数而言Take是减1、Return是加1,原文把与信号量的对应顺序写反。init的true表示本次完成初始化,重复或total为0返回false。 相关卡片:票池把计数协议封装为接口。

NewGenerator除了nil调用器、结果通道和零速率,还应拒绝非正持续时间/超时,并限制导致发送间隔为0的过高lps。原例只检查==0,负时长仍通过;接口!=nil也不能排除动态typed nil,需契约或实现侧校验。错误在运行前返回,避免初始化半成品进入主流程。 相关卡片:初始化校验要覆盖可运行条件。

节流器、自动停止定时器及完成通道必须在主循环可见前准备好,并以同步状态转换避免并发Start重复启动。AfterFunc本来就异步安排回调,再包一层go不是必要条件。手动停止后应撤销自动停止任务,按生命周期回收计时资源,不能遗留向无消费者通道发送的回调。 相关卡片:启动准备需可回收并防重入。

genLoad在for后置语句callCount++,若asyncCall已发起而随后等待节流时接到停止,break绕过递增,最终计数少1。计数应紧随实际提交成功而增加,必要时区分排队、发起、完成和成功。累计循环次数或收到结果次数都不能自动等于真实已发载荷。 相关卡片:调用次数应在实际发起时增加。

genLoad首次直接asyncCall,之后等待throttle,因此初始突发和周期边界都会影响计数。票池Take或结果发送变慢时,Ticker可能丢节拍,实际发送达不到lps;这不是按计划时刻追赶的严格开放负载。需要同时记录计划与实际发起时刻,避免误将发生器瓶颈当被测系统极限。 相关卡片:节流器只限制发起的机会。

cancelSign只从0写成1、值只有一个字节,并不能使并发读写安全;status同样有竞争。应通过原子操作、锁或通道建立发布顺序。标志位表达取消意图而不是完成证明,即便单次读写在硬件上不可撕裂,也不代表Go内存模型允许普通竞争访问。 相关卡片:共享标志简单也需要同步。

取得票后应立即把归还安排在工作goroutine的defer,使BuildReq、交互或CheckResp出错和panic恢复时仍归还。原例把Return放到普通尾部,panic进入恢复defer后不会重新回到该尾部。票应覆盖真实资源占用,交互未退出便归还会使并发额度失去意义。 相关卡片:票的归还应覆盖异常路径。

专用goroutine的recover不能捕获它另启的interact goroutine或AfterFunc回调中的panic;各个异步边界要自行定义错误处理。日志Fatalln是否退出也须看自定义logger契约,不能按名称猜。恢复后递交错误仍可能阻塞或触发关闭通道panic,清理和上报应分别保障。 相关卡片:回收恐慌需在同一执行边界。

把interact放进select第一个通道表达式的匿名函数,会先同步完成交互才创建后面的超时计时器;阻塞在表达式求值期间根本无法选择超时分支。应先创建可取消交互或异步通知,再进入select;分支的通信语法不能让表达式内部自动并发。 相关卡片:选择表达式内串行交互失效。

AfterFunc写timeout与主流程读它没有同步,存在数据竞争;主流程看false后Stop也可能已来不及阻止回调,产生成功和超时两个结果。即使改原子bool,检查、占有结果提交权和发送仍需整体协议;可用CAS或单一结果协调者决出一个终态,并等待已启动回调结束。 相关卡片:超时与响应应争取唯一结果。

等待方因超时不再接收,并不会停止底层Call;若票提前归还而交互持续,真实goroutine数可超过票数。改用AfterFunc也有回调goroutine,原书认为完全避免额外goroutine过强。调用器需要落实连接截止或可取消I/O,并让发生器等待交互及回调退出后确认资源释放。 相关卡片:超时通知不等于终止交互。

stopSign传停止请求,cancelSign通知在途工作不再递交,endSign返回控制循环计数;三者表达不同事件。控制循环退出不等于全部交互已完成或资源已释放,Stop成功应明确是哪一层完成。状态枚举是定义类型而非现代type别名,状态迁移还需原子或锁保护。 相关卡片:停止请求与完成确认应分离。

sendResult先读status与cancelSign再发送,检查通过后协调者仍可关闭resultCh,导致发送panic;将标志改成原子也不能把检查与发送合成一个操作。停止发新任务并等待所有发送者退出,最后由唯一协调者关闭输出;结果丢弃或排空策略要写成完整协议。 相关卡片:检查取消后发送仍有关闭竞态。

两个并发Stop都可能读到STARTED后各自改STOPPED并发送请求,普通赋值不能防重。重复停止应有一次成功状态迁移,其余返回未改变或共享完成结果。原例Stop的false表达未完成本次停止动作,调用者据此决定后续,不应将它改成“是否跳过调用者”。 相关卡片:状态赋值不能代替互斥迁移。

用算术TCP服务器、具体Caller和发生器组成可控闭环,分别验证请求构造、网络交互、响应关联及结果分类。该测试先验证测试工具自身,不应将某台机器日志当生产容量证明。还需覆盖慢响应、拒绝连接、取消、并发停止、结果不消费及重复启动等协议边界。 相关卡片:调用器测试需形成可验证闭环。

UnixNano表示时间数值,调用可能同值且墙钟可回退,不能因此证明高并发请求Id唯一。单进程可用受同步保护的递增序号,跨实例需独立身份方案。随机Operands和Operator扩大样本,但不能保证覆盖除零、空操作数和非法运算符等边界,也应保留可复现输入。 相关卡片:时间戳精度不能保证唯一。

TcpComm.Call只给DialTimeout设置时间,建连后的write和read仍可能无限等待;必须落实整个调用预算、设置连接截止并在所有路径Close。发生器外层超时通知不替调用器释放连接或中断I/O。每次新建连接的测试还把建连成本算入了交互,与连接复用场景应分开解释。 相关卡片:建连超时不覆盖读写交互。

TCP不保留应用消息边界,示例JSON用换行DELIM分帧,write/read双方必须采用相同编码和边界协议。结束符方案要考虑载荷中的转义、帧长度上限、部分读写与错误;不能把一次Write或Read与一条业务请求天然等同。 相关卡片:字节流消息边界需显式约定。

CheckResp先解析请求与响应,再检查Id匹配、服务端错误及算术结果,按原因分类而非仅成功/失败。验证算法应与服务语义等价,却不宜直接复用同一个可能出错的实现。ServerResp.Err使用error接口难以稳定JSON往返,应设计明确错误码与消息,不把非nil error自动当可反序列化对象。 相关卡片:响应验证要有独立正确性依据。

asyncCall在主循环里先Take,票用尽时控制流程无法回到stopSign选择分支。取消必须覆盖等待额度和发送结果等所有阻塞点,而非只在循环头检测。原例把Start放入goroutine只使调用者先返回,并没有解除发生器内部取票等待,不能当作完整修复。 相关卡片:取票阻塞也要能够取消。

2364成功、28超时共2392个结果,成功占收到结果约98.83%;原文98.5%来自2364/(200×12),不能混用分母。durationNs/1e9先整数相除会截断且短于1秒时为0,应按真实时间以浮点秒计算。结果丢弃、尚未结束、重复上报及实际发送不足也应单独计数。 相关卡片:压测统计需核对时间与数量。

TestStart与TestStop在特定时序通过,只说明相应执行结果,不排除数据竞争、关闭竞态或回调未退出。固定8080/8081仅分开两个示例端口,不能彻底隔绝并行测试冲突;可动态监听空闲端口,并用有界等待和竞态检测验证生命周期,不以十分钟默认超时承担日常退出协议。 相关卡片:日志通过不证明并发协议正确。

Start和Stop都接收endSign,但最初只发送一个计数,任一方取走后另一方会永久等待。原例发送两份仅针对固定两个消费者;多次Stop或重启仍需更完整设计。通常由唯一写者保存计数后关闭done,任意等待者等关闭再读已同步的结果,区分通知广播与消费队列。 相关卡片:单个完成值不能广播给等待者。

本章7.1重复汇总的执行预算、OS线程上限和线程绑定延续第6章,不另造同义卡;本处保留再次讲解的位置和出处:执行预算与线程数量不同、线程上限不是可并行任务配额、线程绑定用于依赖线程私有状态。这三种控制分别约束不同对象,不能当作相同的并发配额。

原书依据 · 77 处

08 同步

共享状态同步以不变量为中心选择Mutex、RWMutex、Cond、原子操作、Once、WaitGroup与Pool。定长文件说明领号、实际I/O和发布完成不是一个事件;并发Map说明单个方法安全也不能替代跨方法业务原子性。零值可用、通知、计数和对象复用各有自己的承诺,错误使用不会因代码能编译而消失。

sync.Mutex和RWMutex零值可直接加锁,使用后不要复制。Mutex不绑定特定goroutine,语言允许跨goroutine解锁;通常仍在同一层次组织加锁和释放以降低误用。对已锁Mutex再次Lock会等待,非可重入;对未锁对象Unlock属于运行时错误,不能依赖recover作正常流程。 相关卡片:零值锁可用但不能随意复制。

成功加锁后defer释放可覆盖普通返回和panic展开,减少漏解锁;但循环中defer会推迟到函数退出,需缩小辅助函数范围或显式释放,不能一概认为总必要。示例三个工作者抢锁后未释放,只有一个继续是演示效果,不是完整协作;Sleep也不证明它们已全部运行。 相关卡片:释放锁应匹配真实临界区。

RWMutex允许多个读者或一个写者,同一受保护状态上的写与读互斥。读锁只适用于不会修改该不变量的操作,不能因方法名叫Get就默认只读;短临界区或高争用时成本可能超过Mutex,需按实际读写比例测量。等待读者与写者的内部唤醒细节也不是跨版本固定算法。 相关卡片:读写锁按访问语义选择。

每次RLock应对应RUnlock,未读锁定时RUnlock同样是运行时错误,原书说不会出错不正确。有写者等待时新的RLock会阻塞,因此递归读锁也可能死锁;不能直接升级或降级锁。RLocker是将Lock/Unlock适配为RLock/RUnlock的接口视图,并非返回与写锁方法相同的对象本身。 相关卡片:读锁释放与重入有严格约束。

当前os.File方法可并发调用,原书一概否认并发安全已不适用;应用仍需保护块边界、偏移分配、发布顺序和统计等组合协议。内置方法安全只避免对象层面的错误,并不保证多步读取或写入符合业务要求。应先说明要维护的不变量,再选择锁和操作范围。 相关卡片:文件并发安全不等于业务完整。

DataFile定义读取、写入、进度和固定块长,myDataFile以roffset/woffset分配不重复位置,fmutex协调文件访问。分配序号、实际完成及当前连续可读区间应分开定义;先领号后I/O允许完成乱序,偏移计数不是已成功读写数。原文说序号从1开始,但Read/Write按offset/dataLen首个返回0。 相关卡片:数据文件分离分配与访问。

先递增roffset再遇EOF若直接返回,会使下次调用越过尚未写出的块;重试同一offset保留目标,但忙循环耗CPU,持读锁重试还会阻止写者。需用条件等待并规定关闭、永久EOF和取消,否则最后一个不足块或永不再写可能永远等待。部分数据与错误也要按I/O契约处理。 相关卡片:读取边界需区分等待与终结。

超过dataLen截短只能限制上限,短输入仍不足一块,会让后续ReadAt按固定步长跨错数据;应选择拒绝、填充或带长度的帧协议,并检查实际写入数。构造器应在os.Create前校验dataLen,避免非法参数仍截断已有文件并漏关句柄;生命周期也应提供关闭。 相关卡片:定长块需要补齐与长度验证。

示例Write先领offset却调用File.Write按共享游标写,写锁取得顺序可能与领号顺序不同,返回序号无法对应实际块。应在预留offset上WriteAt或在同一临界区分配并完成顺序写;写失败后的空洞和重试也要定义,计数原子并不能替代这些发布规则。 相关卡片:固定块写入必须使用预留位置。

Wait原子衔接释放锁与等待登记,收到Signal/Broadcast后竞争重新加锁再返回;抢锁未成功会等锁,而不是像原文所说等待下一次条件通知。Go的Cond不会无通知自行返回,仍需循环检查条件,因为通知不预留资源,状态可能已被别人改变。 相关卡片:条件唤醒后重锁不需新通知。

各读者已预留不同文件offset,写出某块后Signal可能唤醒等待更后块的读者,它检查失败又睡,而真正可读者仍睡,造成进度停滞。单块只由一个读者消费不足以证明单播正确;可广播后各自检查,或按块定位通知/先等可读再分配。通知策略要匹配等待条件是否相同。 相关卡片:异质等待者不能随便单播。

Signal/Broadcast调用本身不强制持锁,但条件的检查、修改与等待登记必须遵循同一同步协议,才能避免错失进展。写失败也无条件Signal不能证明数据可用;等待者应在受保护状态中检查已成功发布范围和关闭情况。锁与通知在业务协议上紧密相关,不能因API允许就说二者无联系。 相关卡片:通知不持锁不代表状态无关。

NewCond接受Locker;文件示例在RLock下等待,因此需传fmutex.RLocker(),才能由Wait释放并重新取得同一种读锁。调用Wait前必须持有关联锁,返回后也仍持有它,退出时要解锁。不能把Go1.3未加读锁时的历史卡死现象当合法用法。 相关卡片:条件变量应关联一致的锁视图。

Add修改并返回新值;Load只读取;Store无条件写入;Swap写新值并返回旧值;CAS仅当当前值等于old时替换并返回swapped。应先按责任选择操作,CAS并不总优先或更快;旧Go1.3仅列六类函数,现代还有类型化原子值与更多操作,不能当当前完整API清单。 相关卡片:原子函数分别表达不同结果。

AddUint32传入^uint32(k-1)可按32位模运算减k,返回的新值已写入原位置,无需再普通赋值;下溢会回绕,应另行约束计数不为负。负常量直接转换uint32会编译失败,而变量窄化按转换规则;原例NN&MaxUint32是否可用还取决于NN的类型和目标架构,不能一概称变量必失败。 相关卡片:无符号减法按模数表达差量。

原子Load后加delta再Store仍可覆盖另一个并发更新;CAS把比较与替换合成一次操作,失败重新读取并计算,或直接用Add。CAS成功只比较当下数值,不证明中途从未改变;高争用重试也可能延迟或饥饿。选择算法时要考虑整个不变量而不是追求无锁字样。 相关卡片:加载和存储不能合成原子递增。

并发访问同一状态时,原子Store不使普通读自动安全,普通访问仍可能形成数据竞争;CAS循环最初的Load也应原子化,不能仅在32位读64位时才修正。原子性表达观察到的不可分割效果,不要求任何平台都只有一条指令,也不意味着CPU不能执行其他无关操作。 相关卡片:原子读写不能与普通访问混用。

用CAS或Add分配不重叠文件offset可以去掉专门计数锁,但Rsn/Wsn也必须同步读取。偏移分配成功不代表对应块已写好、持久化或可连续读取;原例File.Write未按offset写等问题仍存在。32位平台的64位原子还要保证对齐,现代类型化原子可减少这类误用。 相关卡片:原子领取偏移不保证块发布。

同一sync.Once的Do只执行竞争中胜出的一个函数,其余调用等它结束后返回;传不同函数也不会各执行一次。三个go once.Do的发起顺序不决定哪一个先进入Do,示例Num可能是2、4或6。每个独立Once有自己的次数边界,不提供进程重启后仍只一次的持久语义。 相关卡片:一次执行由同一个对象限定。

Once的函数即使panic也被视作已执行,以后Do不重试;函数内部递归调用同一Once会死锁。适用于一次初始化的完成同步,不适合需要失败重试的任务。示例只接收一个sign再等两次超时,不能据100毫秒证明三个Do都已返回,应另设任务完成等待。 相关卡片:一次完成与一次成功不同。

Add正数登记任务,Done等于Add(-1),Wait等计数归0;计数负数会panic。空计数上的正Add应发生在Wait之前,通常在启动goroutine前登记并在任务入口defer Done。它只观察登记的任务,不收集错误、不取消工作,也不以运行中的goroutine总量计数。 相关卡片:等待计数须先登记后启动。

同一个WaitGroup可用于下一组任务,但新周期Add必须等上一周期所有Wait返回;零计数瞬间不等于等待者全已返回。计数非零时新增任务可合法发生,不能把规则简化成Add与Wait一概不可并发。对象使用后不可复制,跨周期复用还需调用者组织生命周期。 相关卡片:复用等待组须结束上一周期。

按P划分本地池和跨P窃取解释了复用效率,不能据此假设特定goroutine会拿回原对象或对象存活多久。应在分配与GC确为瓶颈且对象短期反复使用时测量收益,过大对象长期滞留也会增加内存。为了稳定演示而禁用GC不是生产池化策略。 相关卡片:池的局部实现不构成亲和契约。

Pool.Get任取对象,也可忽略现有对象;无可返回值时调用New,否则可得nil。Put不承诺未来能再次取到该值,GC可移除对象且无需通知。每次GC都立即清空和固定输出2、5等是旧实现演示,不是契约;不能用Pool保管数据库连接或必须释放的资源。 相关卡片:对象池提供临时复用而非保留。

共享Pool可并发使用,但借出的对象不会因此自动并发安全。取出后确认类型并初始化状态,使用完清除敏感或引用数据再Put,归还后不再访问;不要把同一指针重复归还以免多方同时借到。New不应与Get并发修改,对象类型和状态契约要一致。 相关卡片:池化对象归还前重置状态。

GenericMap抽出Get、Put、Remove、快照和类型查询,OrderedMap再加区间与首尾,ConcurrentMap仅嵌入通用契约。公共Keys/Elems注释还写已排序,与无序实现不一致,应明确遍历无序或由有序子接口另作保证。接口嵌入合并方法集合,不会继承具体数据结构或实现。 相关卡片:公共接口要剥离有序假设。

Put验证类型后写锁内读取旧值并写新值,true表示接受并完成写入,不是新键标志;Remove、Clear也须写锁,Get、Len等用读锁。单个方法安全不让Get后Put自动成为一个原子业务操作;键仍须可比较,返回值若含map/切片/指针也未被内部锁继续保护。 相关卡片:并发容器方法守住各自不变量。

Remove已持写锁再调用加读锁的Get会死锁;应在同一写锁内直接读cmap.m[key]并delete。把Get移到加写锁前虽避开重入,却允许其他写者在两步间更新,返回的就未必是本次删除的旧值。锁外读再锁内改不是语义等价的修复,原例Get缺key也是展示笔误。 相关卡片:删除取旧值须在同一临界区。

ToMap应在读锁内复制全部键值再返回,直接返回内部map会让外部绕过锁读写。Keys/Elems各自获取快照不保证两次结果在并发更新下对应;复制容器也仍共享引用型元素。需要配对或深隔离时提供同一次快照或更明确的数据所有权,避免锁只保护表面方法。 相关卡片:快照要复制容器并限定深度。

1612ns/op对应约62万次/秒,不是因为N=1000000就称一秒最多百万次;基准会校准N以取得稳定样本。SetBytes(8)只是每轮声明的逻辑载荷,不表示map真实内存开销;循环内频繁停启计时有管理成本,一次Len被摊薄,需说明计时范围再解释吞吐。 相关卡片:基准样本数不等于每秒速率。

串行Put/Get对比只测包装、反射、接口和锁的综合成本,不能证明差距几乎全由读写锁造成。应分解变量并补并行读写比、键分布、容量和争用测试;普通map在并发写场景本来就不能作为无同步替代。Go1.3没有自定义泛型是历史背景,不能据此否定当前泛型实现。 相关卡片:基准需区分安全成本与场景。

原书依据 · 31 处

P4 第四部分 编程实战

第四部分用一个完整爬虫框架贯穿需求、总体设计、接口、实现和试用。设计需把可变策略留给使用方,把调度、资源与错误控制落实在框架边界;本项没有独立技术机制,详解在第9章。

09 一个网络爬虫框架的设计和实现

爬虫以下载、分析和条目处理构成带新请求反馈的流水线,调度器组织生命周期,中间件管理实例、通道、身份和停止信号。9.4至9.7先解释初版接口和实现,9.8再迁移为各阶段参数容器并增加监控,9.9明确Cookie、协议、规则与分布式等扩展边界。旧例中已知的数据竞争、无界等待者、关闭竞态和空闲误判在下文说明,不能把演示日志当完整正确性证明。

9.1 网络爬虫与框架

爬虫循环下载、提取链接与内容并继续访问,但请求头、正文、筛选和持久化规则随目的变化。把这些策略交给使用方,框架承担边界校验、去重、调度和错误控制。静态HTML提取也不等于执行浏览器行为,JavaScript动态导航等能力需明确支持范围。 相关卡片:框架抽出机制保留任务策略。

9.2 功能需求和分析

请求经下载器成为响应,分析器产生条目与新请求,条目管道执行后续处理;新请求反馈到下载端,因此不是单向固定长度批处理。每个阶段需明确输入输出及停止条件,还要在反馈入口校验边界和去重,才能避免重复与无限扩展。 相关卡片:爬取是带反馈的数据流水线。

9.3 总体设计

下载器负责HTTP交互,分析器按策略形成新请求与条目,管道按序执行处理器;调度器维护实例、转交数据并监测状态。中间件是支撑这些控制与传递的工具集,不是另一个业务处理模块。模块保持职责专一,统一协调其生命周期、背压和失败路径。 相关卡片:调度器控制协作而非业务解析。

下载器和分析器可由池提供多个实例,管道虽只持有一个实例仍可同时处理多个条目。框架计数与传递安全不代表使用方处理函数安全;函数可捕获共享状态,闭包和接口实现都需要同样的并发契约。不能仅因使用函数类型就免除串行、隔离或同步的责任。 相关卡片:共享管道的安全取决于处理器。

9.4 详细设计

Request私有保存*http.Request却由HttpReq原样返回,调用者或最初传入者仍可修改同一对象;Response、Item中的指针和map也类似。小写字段只阻止直接赋值字段,不等于深层不可变。要取得该保证需拷贝可变内容、只读视图或明确所有权,不能仅凭New构造与getter声称不可变。 相关卡片:私有字段不保证深层不可变。

首次请求深度0,子请求由父响应深度加1形成,响应要携带原请求深度,分析器无需额外接收原请求就可生成后续请求。最大深度限制扩展,但完成还要等下载、分析及条目处理全部结束;深度有上限本身不能证明队列已空或全局停机。 相关卡片:请求深度沿响应继续传播。

Data.Valid为请求、响应和条目提供统一判断:示例只查URL、Body或map非nil。它不证明HTTP方案可访问、正文合法、条目符合业务模式或当前未取消;指针接收者也未防nil接收者。调用者应知道该布尔结果的窄责任,不把基础存在性检查扩大为下载成功或数据正确。 相关卡片:有效性方法只证明约定的条件。

CrawlerError在error.Error之外提供Type,用下载器、分析器和条目处理器分类错误;原始详情与框架前缀组成最终描述。这样便于统一递交和观测,但是否可重试、底层原因和严重程度仍须单独定义;错误来自哪个模块不能直接代替处理策略。 相关卡片:错误类型补充处理模块来源。

myCrawlerError.Error首次调用genFullErrMsg写fullErrMsg,即使外部不能改字段,两个goroutine同时读Error仍会竞争写缓存。可以构造时预先生成,或用Once同步惰性初始化;内容永不失效只说明缓存有效性,不证明初始化并发安全,也不证明缓存一定值得。 相关卡片:惰性缓存也属于共享写入。

下载器和分析器通过Id识别,IdGenerator承诺一次程序实例内在uint32范围耗尽前不重复。需要定义溢出后的拒绝或复用策略,不能把43亿取值等同永久唯一;并发生成也需同步。池容量与累计生成次数不是同一指标,频繁重建可能在小池下持续消耗ID。 相关卡片:实体身份需限定唯一范围。

PageDownloaderPool和AnalyzerPool提供Take、Return、Total与Used,对借出资源的身份和使用量有明确责任;抽出Pool及Entity.Id可共享管理。容量是否固定、借用失败、重复归还与取消应显式约定。它们需持续保管实体,不能用可任意丢弃条目的sync.Pool替代。 相关卡片:资源池与临时对象池不同。

ParseResponse接受HTTP响应和深度,输出多个Data及多个错误,将内容分析、筛选和新请求构造放在一起,避免框架与策略往返传中间结果。这样保留请求头、Cookie、身份等定制自由,也把错误处理、资源释放和并发安全的契约交给边界双方,不能假设函数类型自动安全。 相关卡片:解析与生成共同交给扩展函数。

ItemPipeline初始化时设置[]ProcessItem,运行时不替换步骤,逐步把处理结果传给下一个处理器。FailFast决定某步报错是否停止后续步骤,Count区分已发送、已接受和已处理,ProcessingNumber描述在途数。序列固定只稳定流程结构,Item仍是可变map,处理器并发执行需另有保证。 相关卡片:处理器序列固定不等于条目固定。

Scheduler.Running描述生命周期已启动未停止,Idle检查各池、队列与处理模块是否还有工作。运行中可以暂时空闲,多个瞬时空闲读数也未必是全局完成快照。Stop还需向所有子流程传播并等待其善后;接口签名给出责任,是否真的完成要看实现协议。 相关卡片:运行与空闲属于不同观察层次。

ErrorChan以只读通道递交运行错误;SchedSummary分别提供String、Detail及Same,使监控可决定是否展示变化。错误流何时关闭、是否丢弃以及消费者速度需明确,摘要比较也应说明比较字段和快照一致性。观测接口不能取代完成信号或被当成控制状态的唯一真源。 相关卡片:错误流和摘要服务可观测性。

ChannelManager统一初始化、重置、关闭四类通道并提供状态;channelLen实际是缓冲容量,不是初始已有消息数。只给管理器方法加锁不能撤回外部已取得的通道,reset或Close前必须协调旧发送者和接收者退出。返回false宜表达本次未改变状态,不等于忽略整个调用者流程。 相关卡片:通道管理生命周期需协调持有者。

StopSign.Sign置位,Signed供任意参与者观察,Deal按代号记录处理完成;Reset同时撤销信号并清除记录。发送一个通道值只能由一次接收消费,不适合作未知数量参与者的广播。轮询标志也不会自动解除阻塞,重置还需隔离上一代任务,避免旧处理者计入新一轮。 相关卡片:停止传播与处理确认应区分。

9.5 中间件的实现

通道传参复制的是当前通道值,之后发送方重新给变量赋值,不会让接收方参数自动指向新通道。旧通道可能不再有发送者却仍未关闭,新通道的缓冲数据也可能被遗留。替换需要明确旧一代的收尾、剩余消息处理和新一代发布,不能仅看变量名相同。 相关卡片:替换变量不改变已有通道值。

select进入时求值getChan一次,若随后阻塞在旧通道,函数不会因全局变量被替换而重求值。原例对chan1的读写还存在数据竞争;加锁getter只保护取得值的瞬间,也不能迁移已阻塞通信。需独立唤醒/代际切换协议、稳定代理通道或先停再换,示例某次成功输出不证明无缝热替换。 相关卡片:通道获取函数不能瞬时热换。

myChannelManager.Init写锁内创建四种通道并置INITIALIZED,reset=false在已初始化时返回false,表达未完成本次重置。构造器处理默认容量并委托Init复用逻辑。多字段一致发布需要所有读者遵循同一同步协议,并另行安排旧通道的收尾,不能把重置字段等同旧通信已结束。 相关卡片:初始化事务需要一致发布。

ReqChan在读锁内checkStatus并取得通道,使检查和字段读取基于同一管理器状态;未初始化或已关闭时返回error。checkStatus本身依赖调用者已持锁,应明确内部约束。返回后锁已释放,使用通道仍会面对后续关闭,不能把获取成功解释为持续发送许可。 相关卡片:状态检查与取通道需同锁。

myChannelManager.Summary同时读status及各通道字段,ChannelLen/Status也读取可重置字段;若省略读锁就可能与Init/Close竞争。持锁复制字段可得到同一管理器版本,但多个通道len仍是分别观察,不是消息系统的原子快照,不能据摘要瞬时为空证明已完成。 相关卡片:摘要读取也必须遵守同步。

NewPool先确认正容量,再用genEntity生成固定数量实体并检查动态类型。工厂为nil会panic,返回typed nil也可通过类型检查,不能说只校验reflect.Type就全部参数有效。实体ID还须唯一且稳定,重复ID会覆盖登记;初始化中途失败要清理已创建且持有资源的实体。 相关卡片:资源池预填应校验工厂结果。

同一实体归还后再次借出,旧持有者若再Return,只看ID状态false仍可能被接受,使两个使用方同时使用实体。布尔在池/借出状态只防同一周期的简单重复,不能辨认代次;可使用租约代号并在归还时核对,或明确禁止保留旧引用和重复归还。 相关卡片:借还状态不能抵御旧租约重放。

Return依次检查非nil、动态类型、ID归属和是否已借出,再将可用状态置true并入容器。仅凭同类型与同ID不能鉴别伪造对象;借用者应遵守对象不变及唯一归还契约,或由池校验实际身份。Take取得实体后置false,Used按容量减当前容器长度只反映瞬时借出数。 相关卡片:池内身份还需借出状态校验。

compareAndSetForIdContainer在同一互斥区读取、检查oldValue并写newValue,以-1表示未知实体、0表示状态不符、1表示已迁移。锁外再发送通道避免持锁阻塞,但迁移与入容器之间存在中间状态,后续失败或取消需定义回滚,不能只保证map无竞争就认定整个借还事务完成。 相关卡片:池状态迁移可用受锁比较设置。

myStopSign.Sign、Reset用写锁,Signed直接读signed仍与它们构成数据竞争;没有修改动作并不代表无需读锁。Deal及计数查询应与状态修改遵循一致锁协议,Summary亦然。锁保护单次方法不保证Signed后Deal跨方法原子,重置还需确保旧一轮已退出。 相关卡片:停止标志读取也须参与同步。

Deal在已签发时按code累加,重复调用同一代号也会多次计入,DealTotal求和并不证明不同参与者均已善后。若要以确认数完成停机,应登记预期参与者并以代次+身份去重;单纯计数适合观测,不能替代不可重复的完成协议。 相关卡片:处理计数不是独立参与者总数。

cyclicIdGenerator在锁内分配uint32并在最大值后回绕,但展示的ended分支返回0却未把sn推进到1,下一次还会返回0。即便修正该错误,池容量小也不能排除旧ID仍活跃时重复,唯一性需要按活跃范围或代次定义,不能把循环序号称全局永久唯一。 相关卡片:循环编号回绕后仍可能冲突。

uint64最大值不是uint32最大值的两倍。原例cycleCount%2和加MaxUint32既只覆盖约33位范围又在边界重号;应按高位周期与低32位组合,或直接用受同步保护的64位序号。高低位读取、进位和返回须在同一协议内,原例cycleCount无同步也不安全。 相关卡片:扩展位宽按进位而非两倍。

9.6 处理模块的实现

Client和Transport可并发复用,下载器池主要表达应用并发额度,并非每个请求必须独占新客户端。原例按值复制*client仍共享Transport、Jar及函数等引用配置,不能据字段是值类型声称完全隔离;使用期间不要无同步改配置,认证或Cookie隔离应按会话责任设计。 相关卡片:客户端配置共享要有边界。

myPageDownloader拆出Request中的*http.Request,调用Client.Do,再用相同深度封装Response;Do无error不代表状态码成功,更不代表正文已全部读取。响应Body要有明确的关闭责任和读取上限,客户端还需截止或取消策略,不能把默认Client可用解释为请求必然及时返回。 相关卡片:下载器只负责交互与封装。

myDownloaderPool持有middleware.Pool,构造时把GenPageDownloader包装成func() Entity,Take后断言PageDownloader,其余方法委托公共池。函数结果类型不同不会自动协变,需要包装。原例额外gen()一次只为探测类型,会消耗ID或资源,应复用该实例或由工厂显式声明契约。 相关卡片:类型化池封装公共借还机制。

多个ParseResponse接收同一个*http.Response,Body是流,第一个读取后后续可能只剩EOF。若需各自分析完整正文,应在大小受限的条件下先缓存并提供独立Reader,或只解析一次共享不可变文档,同时统一关闭Body;顺序调用并不自动重置读取位置。 相关卡片:多解析器不能共享已消费正文。

Analyze依次调用解析器,nil解析器记录索引错误后继续,汇总可用Data与非nil错误。返回错误列表不一定意味着全部数据作废;解析器panic、Body消费和资源清理也需明确,参数只查httpResp非nil不足以保证Request.URL与Body均存在。空而非nil列表是否有效也应按契约判断。 相关卡片:分析器汇总部分数据与多项错误。

appendDataList把*Request深度规范为respDepth+1,其余Data直接追加;但Data还有*Response及任意外部实现,断言不是Request并不推出一定是Item。typed nil请求也会使req.Depth崩溃,深度加1需防溢出。生成新封装仍共享*http.Request,不是对整个请求做深复制。 相关卡片:扩展返回数据需限定允许种类。

下载器池与分析器池共享实体池的借还机制,但各自保留构造、类型适配和ID入口,便于按网络I/O或解析计算的负载分别演进。相似代码不意味着应合并业务组件;封装外部API调用到单一函数可集中调整,却也不能宣称消除所有依赖。 相关卡片:不同模块共享机制保留演化边界。

NewItemPipeline检查列表及各函数非nil后复制切片,防止调用者替换原底层数组元素影响步骤顺序。复制函数值不复制其闭包捕获的对象,处理器仍可能共享可变状态;非nil空列表也会通过检查,应明确零步骤是否有意义,不能把复制列表等同全部逻辑隔离。 相关卡片:复制函数切片只固定步骤列表。

Send以currentItem向后传递,每步非nil结果替换当前条目,nil结果则保留原条目;因此nil不是丢弃条目的表示。错误累积,FailFast为true才停止后续步骤。处理器可能原地改map,出错并不会自动回滚;快速失败与事务撤销是不同保证。 相关卡片:条目流程应明确空结果与失败。

sent在每次Send增加,accepted在非nil条目通过后增加,processingNumber入口增并defer减。原例processed放循环后无条件增,快速失败break也会计入,与“所有步骤处理过且快速失败时无错误”的定义不符。应区分完成、成功和失败计数,不用退出函数次数替代全部步骤完成。 相关卡片:处理计数须对应真实终态。

Count逐个Load保证各计数读取安全,却不保证它们属于同一时刻;Summary混读可见暂时不满足整体关系。failFast的并发Set与Send/Summary普通读仍需同步,可在每次Send开始读取一次稳定策略。原子增减也不保护处理器闭包、条目map或其他关联状态。 相关卡片:原子计数不提供整组一致快照。

9.7 调度器的实现

Start参数分成组件初始化配置、持续过滤规则和激活流程的首次请求。池和通道配置可用于构造与摘要,深度/域名在后续过滤使用,首次请求只负责触发。用辅助工厂集中依赖创建能减少重复耦合,但仍要明确默认值、工厂错误及产生资源的清理责任。 相关卡片:调度参数按职责分类留存。

分析器一份响应可能产出多个请求,下载较慢时反馈通道会积压,甚至各阶段互相等待。请求缓存把产生和调度分开,由schedule转入请求通道,暂时减少分析器阻塞;缓存增长不能消除持续过载或网络瓶颈,需要容量、背压或丢弃策略,不能保证其他组件永不受影响。 相关卡片:请求缓存缓解反馈阻塞。

myScheduler持有通道管理器、停止信号、下载器池、分析器池、条目管道及请求缓存;crawlDepth、primaryDomain与urlMap控制扩展边界,running表达生命周期。组件通过协调形成流程,不因字段齐备便保证状态一致或停机正确;不同保障需在启动、数据流和停止中逐一落实。 相关卡片:调度器组合资源与控制状态。

Load(running)==1检查再Store(1)并非一次迁移,两个Start都可通过并重复初始化。应以CAS或锁取得启动权,区分starting与running;停止也同理。现代atomic有Bool等类型,旧文因没有bool原子函数而选择uint32只是历史限制,保留数值状态可表达更多阶段。 相关卡片:启动防重需要原子状态迁移。

Start先置running=1再逐步校验,错误或panic可能遗留“运行中”的半初始化对象;首次请求甚至在启动各循环后才检查。应先验证参数,分阶段构造并登记清理,全部成功后发布运行状态;失败停止已启动任务并释放资源。recover把panic变成error不自动回滚,也捕获不到其他goroutine的panic。 相关卡片:启动失败须回滚已取得资源。

sendResp、sendItem在Signed为false后发送,Stop仍可在两步间关闭通道,造成panic或阻塞。Signed即便改成同步读取也不能保证检查与发送原子;应先阻止新生产、取消阻塞并等待发送者退出,再关闭通道。Deal记录被忽略操作不等于该组件完整退出。 相关卡片:发送前看停止不能防关闭竞态。

sendError用组件代号映射Downloader/Analyzer/ItemProcessor错误,调度器自身使用空ErrorType;ErrorType底层string不能为nil,原文以nil表达缺省不合法。解析组件代号也要验证结果长度再索引[0],扩展未知代号应有明确归类而非引出新的异常。 相关卡片:错误分类应保留有效类型约束。

sendError为每个错误启动goroutine后即返回true,代表安排递交而不是错误已入通道或被消费。消费者慢时这些任务可能积压,Close后也可能panic,调用方recover不能跨goroutine处理。应定义有界队列、取消、丢弃计数和统一关闭责任,不能只建议用户及时读取就称框架稳定。 相关卡片:错误异步发送也要有界。

analyze以type switch支持*Request和*Item,但Item值本身也实现Data,解析器若返回Item会被当不支持。接口可表达多种实现,不能仅靠注释保证动态种类;应统一允许的集合并处理typed nil,再分派到请求缓存或条目通道。领域数据结构一致比反复类型断言更关键。 相关卡片:派发数据要统一值与指针契约。

saveReqToCache先检查请求及URL非nil、允许scheme,再检查重复、域名范围和最大深度,避免把无效工作传播到后续阶段。这里只支持http是示例能力限制,不能推导Go HTTP客户端不支持https;拒绝请求作为警告还是错误要按责任区分,并保留可观测拒绝原因。 相关卡片:请求过滤尽早落实边界。

示例从Request.Host提取primaryDomain;Host可含端口,IP及IPv6与域名后缀不能用同一简单切分处理,覆写Host与URL实际连接目标也可能不同。需明确按精确主机、允许子域或可注册域比较,并处理解析失败;忽略getPrimaryDomain错误可能把两个空值误作匹配,不能将同后缀当访问边界证明。 相关卡片:域名边界需要明确解析规则。

urlMap查重、请求入缓存和登记是组合动作;多个analyze并发执行会竞争map且可能同时接纳同URL。应在受保护协议内占用URL并检查put是否成功,失败回滚或记录失败状态。入队只代表已接纳,未必下载成功;重试、规范化及已处理的定义需要显式策略。 相关卡片:去重登记须与入队结果一致。

schedule用cap-len估计空位后逐条get并发送,结果不是槽位预留,通道热换还可能让两次getter观察不同对象。多生产者或关闭时发送仍会阻塞或panic,提前出缓存的数据也可能丢失。采用可取消发送、单一队列所有者或带确认的搬运,轮询Sleep不能提供严格10毫秒响应。 相关卡片:调度空位只是瞬时估计。

startDownloading和activateAnalyzers先接收再为每项启动goroutine,随后才Take池内实体;池只限制正在持有实体的数量,等待Take的goroutine仍可无限增加。条目和错误发送也有类似扩张。需在启动工作前获取可取消额度,或采用固定工作者和有界队列。 相关卡片:池容量不限制等待者的数量。

示例Stop签发停止后立即关闭通道及缓存,设置running=2就返回true,未等下载、分析、回调或阻塞取池任务结束。它最多表达已请求停止或已改变状态,不能宣称所有子流程已安全终止。应定义排空/丢弃政策、取消I/O、任务等待与唯一关闭次序,重启前隔离旧一代。 相关卡片:停止成功须定义完成层次。

ErrorChan先Status再getErrorChan,Close可能夹在两次调用之间,导致检查通过后getter报错panic;未启动时chanman还可为nil。应在一个受锁操作里获取并返回错误,向外约定nil表示不可用;调用者接收nil会一直等待,持有已关闭通道则可读完后结束,二者不能混淆。 相关卡片:错误通道获取不能先查后取。

Idle只查下载池Used、分析池Used及条目在途数,遗漏请求缓存、各通道、已派发但尚未取池的goroutine和正在搬运任务。多个顺序读数也不是一致快照,暂时全0仍可能马上产生工作。完成判定需把所有在途与排队任务纳入同一协议,并确认不再产生新任务。 相关卡片:空闲计数不足以证明工作结束。

reqCacheBySlice.get在锁外length判空后再加锁取cache[0],两个消费者可能都通过检查后由第二个越界;length/capacity也与append及重切片竞争。状态判断、判空、出队需在同一锁下完成,返回nil表示本次无可取请求,不是调用者后续全部该跳过。 相关卡片:缓存判空与取头必须同锁。

取cache[0]再cache=cache[1:]实现FIFO,但底层数组仍可能保存已出队指针,后续切片保持数组存活会延长对象保留。出队时可先清空槽位,并按负载考虑环形队列或适时压缩,避免长时间积压和只前移视图造成内存浪费;capacity也只是当前视图容量。 相关卡片:切片队列应释放已出队引用。

status为byte且只改0到1不使普通读写免于数据竞争;put/get在锁外检查状态再操作,还可能在关闭后继续接受。应把状态迁移和队列操作放同一同步范围,规定close是禁止入队、立即丢弃还是允许排空。允许少量延迟停止是语义选择,不能据此放弃内存模型要求。 相关卡片:关闭缓存同样需要同步协议。

NewSchedSummary逐项复制组件摘要和计数形成展示对象,采样来源仍需各自同步;普通读running与并发原子写混用、遍历正在写的urlMap都不安全。即使修复竞争,各组件也未必同一时刻采样。模板还有%d/d笔误,格式输出正确也不能证明统计一致。 相关卡片:摘要采样需区分一致性与呈现。

Same排除prefix和urlDetail,按其余运行、配置、数量及组件摘要判断是否需要展示变化;URL集合变化但数量相同仍可能被视为相同。它不是整个调度器状态恒等证明,typed nil也要明确处理。先比较便宜字段可短路,但真实性能须测量,不能凭字符串长度猜全部成本。 相关卡片:摘要相同只覆盖约定字段。

9.8 一个使用演示

9.8把统一channelLen与poolSize拆为各类通道容量和各池尺寸,使网络、解析和条目处理可分别调节。配置彼此关联,扩大通道只是重新分配积压,不能创造下游吞吐;应同时观察实际队列、内存和等待者,而不是单凭缓存变短判断系统变快。 相关卡片:各阶段容量应按负载分别配置。

Args定义Check和String,ChannelArgs封装四种通道容量,PoolBaseArgs封装下载器与分析器池尺寸,以构造和getter提供只读配置。Start、ChannelManager.Init及摘要都需一致迁移至新容器,旧字段和ChannelLen删除。Check只验证本容器约束,不保证实际资源足够或组合性能合理。 相关卡片:参数容器集中自检与表示。

示例尚未正式发布时修改Start等接口以细化参数;已发布后应明确兼容策略而非直接改签名。Go接口新增方法也会让原实现不再满足接口,并非任何新增API都无破坏;可用新接口、适配器或新版本保持旧调用与实现,测试两侧契约。 相关卡片:接口演进要考虑实现方兼容。

示例状态码200才解析只是简化,不足以证明正文是HTML或所有字段合法。a标签的文本生成条目与链接生成请求相互关联但不等同,空链接或被过滤链接仍可能有文本;每条解析错误可伴随部分数据返回,验证应按实际约定,不能把err==nil当全面正确。 相关卡片:抓取成功不等于业务结果正确。

parseForATag在状态码200检查之后才defer Close,非200早退会漏关Body;把关闭只放最后一个解析器也无法重置被前面消费的流。应由统一响应所有者负责全部路径关闭,必要时受限缓存后给各解析器独立Reader,不能靠默认客户端兜底保证释放。 相关卡片:正文关闭责任需覆盖早退路径。

parseForATag用goquery寻找a标签并取href,TrimSpace后解析URL,以响应请求URL的ResolveReference补齐相对链接,再生成GET请求。它不执行JavaScript,也不是浏览器完整导航;过滤、深度修正与范围限制仍由框架后续负责。URL解析成功只证明语法可解释,不代表资源可访问或应被接纳。 相关卡片:静态链接解析按来源补全地址。

processItem复制map后新增number,避免直接改原外层键集合,但引用型值如*url.URL仍共享。number表示新增字段前的元素数量,10毫秒Sleep只是演示处理延时,既不执行持久化也不能代表真实吞吐。示例处理结果被管道消费,不应声称已保存到数据库或文件。 相关卡片:条目浅复制只隔离外层键表。

Start返回只表明已安排流程,main返回会终结整个程序;需显式等待完成或停止。给四个常驻控制goroutine加WaitGroup也只等待这四个,不涵盖各自另起的下载、分析及条目任务,还必须另行触发停止。示例随后撤销这一改造改用监控,不能把两版代码当同时生效。 相关卡片:异步启动后的主流程要等待。

监控以interval与maxIdleCount计连续Idle,遇非空闲清零,达到阈值再检查并按autoStop决定是否请求停止。这能减少瞬时误判,却无法弥补Idle漏查队列和在途任务的问题。首次样本到第N次约经过N-1个间隔及执行时间,检查次数乘间隔也不是精确耗时或严格安全证明。 相关卡片:连续空闲只是启发式观测。

Monitoring分别启动reportError、recordSummary和checkStatus,共用Record回调并返回检查计数通道。分离观测、日志与停止判定便于定制,但回调可能被多个goroutine同时调用,需并发契约、错误隔离及有界成本;收集检查计数也不自动证明另两个监控任务已退出。 相关卡片:监控职责分流不免除关停协调。

reportError先非阻塞查stopNotifier再阻塞读errorChan,若没有错误且autoStop=false,之后的取消值无法唤醒该接收。应在同一select内监听错误、取消及关闭,按ok结束而非靠nil错误跳过。检查启动的轮询也应可取消并处理启动失败,不能永远等Running变true。 相关卡片:错误接收应同时监听取消。

waitForSchedulerStart只轮询Running,但原实现Start最早就设running=1,组件仍可能为nil;监控可过早访问Summary或ErrorChan。若启动失败,标志可能不回滚,轮询又无错误传播。需要独立的准备完成事件或starting/running状态迁移,让监控观察到完整发布的组件。 相关卡片:运行标志不代表初始化完成。

recordSummary比较NumGoroutine与Same,只有变化才记录,减少重复日志。NumGoroutine统计当前存在的goroutine而非仅正在CPU运行者;Same也只比较选定字段。每微秒轮询仍有采样与格式化成本,应按诊断需要设置频率,日志回调不能无界阻塞或因nil/panic使监控消失。 相关卡片:摘要按变化输出仍需限定成本。

checkStatus的defer往容量1的stopNotifier连发两值,再发送checkCount。reportError若卡在错误接收,另一消费者取一份退出后通道可能填满,发送也不证明两者已退出。应关闭专用取消通道广播并用完成等待确认;单次计数通知不是整个调度器和全部监控的结束屏障。 相关卡片:发送两份停止值不保证退出。

autoStop=false时checkStatus到阈值仍退出并通知调用者,但调度器继续运行;autoStop=true也仅调用现有Stop,不能自动补足等待在途任务。main应检查Start错误并等待明确的生命周期完成结果,不能仅凭<-checkCountChan宣称全部工作已安全终结;record示例level2却用Infoln也应按真实级别处理。 相关卡片:监控结束与自动停止要分开。

9.9 当前的不足和解决思路

把去重、域名、深度和协议过滤硬编码进调度器,会限制不同使用场景;通过明确API传入策略,让变化局限于边界。合法性检查仍不可任意取消,策略也要与下载器实际能力匹配。已发布接口的兼容应被保留,扩展功能不能靠悄悄改旧契约实现。 相关卡片:过滤规则应作为显式扩展边界。

http.Client的Jar负责按规则保存响应Cookie并为后续请求选择回传,cookiejar提供内存实现。它可维持会话交互,但不代替站点的认证流程、有效期或权限判断。Jar创建应检查错误,重启后内存状态也不自动保留;原稿的定制例子不是已执行登录或抓取。 相关卡片:Cookie由存储策略维护。

cookiejar.New允许nil选项,不是必须先实现PublicSuffixList才能创建Jar;但缺少可靠公共后缀规则会削弱跨域Cookie限制,不宜当安全默认方案。为客户端设置Jar只提供按规则存取,登录、隔离会话与错误处理仍需明确。旧code.google.com路径应按现代模块入口核对。 相关卡片:Cookie选项区分创建与安全。

公共后缀是如com或co.uk一类由公共规则识别的域名后缀,并不等于网站可注册的主域名。Cookie作用域检查需要可靠后缀规则;不能把自写的“取主域名”函数直接视作等价实现。原稿二者混用有误,旧code.google.com库路径也不能当当前安装入口。 相关卡片:公共后缀不同于可注册域名。

HTTPS客户端应验证证书链及目标身份。原稿以InsecureSkipVerify跳过检查来兼容问题证书,会削弱对中间人和冒充端点的识别;“我确定站点可信”不能证明当前连接对端就是它。应核对信任根、证书和主机名等原因,按受控信任配置处理,而非把忽略验证当正常生产方案。 相关卡片:证书失败不应以主观信任绕过。

Robots协议通过网站根路径/robots.txt声明给不同爬虫的抓取规则;原稿写robot.txt少了s。规则解释、获取与缓存应成为爬虫策略的一部分,不能因框架未内置就忽略。该协议不是访问认证或内容保密机制,也不表示技术上能请求到的资源都已获得任意用途授权。 相关卡片:爬取边界须读取站点规则。

单个爬虫框架并发处理任务,不自动具备多个程序之间的协作。跨实例还需明确指令和数据如何交换,接口可以采用RPC或Web服务,通信方式本身不替代工作与状态协调。原书只列扩展方向,没有实现这些协议,因此不能把本地示例交付宣称成已支持集群运行。 相关卡片:进程内并发不等于分布式调度。

原书依据 · 85 处

A1 Go语言的学习资源

附录只提供当时的Beego、Gogs、Docker、Skynet、NSQ、etcd、Groupcache和Gobot项目入口及简短定位,涉及HTTP应用、Git托管、部署、服务、消息、配置、缓存与机器人等方向。没有展开内部机制,因此登记为历史参考而不据短目录补造知识卡;本次未核验其今日维护状态或安装方式。

A2 国内的Go语言社区

本项列举Golangtc、Go友团、Go Walker和SegmentFault Go栏目等中文学习入口,说明社区交流、项目API浏览和问答可作为后续学习途径。原书的活跃度、平台支持与网址属于其时代信息,本次未当作当前推荐或可用性承诺。

跨章综合

数组复制、切片引用和接口动态值在第3章属于类型问题,进入第7至9章后却决定发送值是否仍共享可变对象。第4章的defer与异常边界用于第8章的锁释放,也用于第9章的借出归还;把清理放在普通尾部不能覆盖异常。第5章的测量口径则约束载荷发生器和并发Map的结论:计划速率、实际发起、完成和成功各有分母,单次日志与串行基准都不能代替系统容量证明。

两个完整实例共同说明取消、完成与安全关闭的区别。取消只发出意图,通信或I/O可能仍阻塞;完成需要等待已登记工作;关闭输出必须由能证明不再发送的一方负责。缓存、票池和资源池能够约束某一层积压或占用,但若先无限启动等待任务,就无法约束整个系统。调度摘要和空闲计数提供观察,不能单独充当全局完成证明。

发散与实践

采用两项实现深读:一项把停止广播和取消映射到固定版本Go context的取消树,另一项把临时对象复用映射到sync.Pool及其测试。两项均交付实际读取的首轮源码映射与后续两层计划;完整实践和运行测量尚未执行。未采用重新实现整套旧爬虫或对公网运行演示,因为当前问题用成熟源码阅读即可推进。

生成进度与管理记录

Go并发编程实战

Skill版本:v23

执行模式:light

建档进度:done

评级:工程实践(高信息浓度、低稳定性)

评级依据:已读各主要部分样章,类型规则、并发交互及爬虫边界包含原因和条件;大量Go1.3安装、API、调度器与具体实现依赖旧版本,已知错误需校准。评级不否决基础定义、操作与问题。

身份:作者郝林;ISBN9787115373984与版权页一致;OPF出版者人民邮电出版社。OPF日期2015-02-14、推荐序2014-10-20与另一输入文件名2014只分别保留为元数据/叙述时点,不擅自确定正式出版日期、版次;购买者水印不写入笔记。

整书笔记:_book_note.md(全文与章节收束完成)

章节进度追踪表

章节号 章节标题 状态 卡片数
I2 推荐序 done 1
I3 前言 done 1
I4 本书结构 done 0
I5 目标读者 done 1
I6 关于示例代码 done 0
I7 关于勘误 done 0
P1 第一部分 Go语言的世界 done 0
01 初识Go语言 done 6
02 Go语言环境搭建 done 11
P2 第二部分 编程基础 done 0
03 词法与数据类型 done 88
04 流程控制方法 done 47
05 程序测试和文档 done 24
P3 第三部分 并发编程 done 0
06 并发编程综述 done 89
07 Goroutine和Channel done 71
08 同步 done 31
P4 第四部分 编程实战 done 0
09 一个网络爬虫框架的设计和实现 done 85
A1 Go语言的学习资源 done 0
A2 国内的Go语言社区 done 0

非正文排除

spine项 类型 排除理由
0 titlepage.xhtml 封面 Cover包装页;身份依OPF及版权页
1 text/part0000_split_000.html 版权 作为身份核验,不复制购买者水印或个人信息
2 text/part0000_split_001.html 目录 仅列章节定位
3 text/part0000_split_002.html 推荐语 多位读者评价图书,无独立技术机制
10 text/part0000_split_009.html 致谢 私人感谢与写作背景,无独立技术论述
76 text/part0000_split_075.html 出版方联系页 客服及宣传信息,不作技术正文

待关联术语

术语名 出现章节 一句话语境

| B树 | 04 | 有序字典结尾仅提名的替代数据结构,未展开 | | 跳跃表 | 04 | 有序字典结尾仅提名的替代数据结构,未展开 |

| 信号灯 | 06 | IPC同步原语与运行时通知实现被提名,未展开操作 |

引用文献

标题 类型 出现章节 一句话语境
goc2p 源码项目 I6 本书示例源码存放入口,尚未联网或执行
Go Web编程 书 I2 推荐序介绍本人早先作品,未展开该书内容
Go命令教程 文献 02 本书附属命令文档,未把旧链接当作当前已核验项目

| net/http | 框架 | 06 | 在Socket末尾提名的应用层接口,后续爬虫部分再展开 | | net/rpc | 框架 | 06 | 在Socket末尾介绍远程调用入口,未据此补造细节 |

| OpenGL | 框架 | 06 | 线程私有状态的绑定示例,未展开具体API |

| Communicating Sequential Processes | 文献 | 07 | Tony Hoare,1985;通道背景引用,未独立阅读 |

| XPath / XQuery | 标准 | 09 | 原书只作解析规则方向提名,未独立阅读标准全文 | | goquery | 源码项目 | 09 | 静态HTML示例依赖,未执行安装或抓取 | | Public Suffix List / golang.org/x/net/publicsuffix | 规范/库 | 09 | 原书旧go.net路径的后缀规则实现方向,现有说明按官方cookiejar文档校正 | | robotstxt.go / robotstxt-go | 源码项目 | 09 | 原书列作Robots辅助库,未核验当前维护及API | | Beego | 项目 | A1 | 历史HTTP框架入口 | | Gogs | 项目 | A1 | 历史Git托管入口 | | Docker | 项目 | A1 | 历史部署与容器方向入口 | | Skynet | 项目 | A1 | 历史分布式服务框架入口 | | NSQ | 项目 | A1 | 历史消息平台入口 | | etcd | 项目 | A1 | 历史配置与发现入口 | | Groupcache | 项目 | A1 | 历史缓存库入口 | | Gobot | 项目 | A1 | 历史机器人方向入口 | | Golangtc.com | 社区 | A2 | 历史中文交流入口,未验证现状 | | Go友团 | 社区 | A2 | 历史中文交流入口,未验证现状 | | Go Walker | 项目 | A2 | 历史API文档浏览入口,未验证现状 | | SegmentFault Go | 社区 | A2 | 历史问答入口,未验证现状 |

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明

实践卡进度

序号 实践标题 实践方式 状态 关联章节 产出
001 沿取消树核对退出协议 实现深读 done 07、09 计划、固定版本源码与首轮映射
002 读对象池的复用与淘汰 实现深读 done 08 计划、固定版本源码与首轮映射

实践候选筛选:done

采用2项实现深读,首轮官方源码已实际读取并留映射;未执行测试或公网抓取。合并重复的取消与生命周期问题,不采用重写旧爬虫、按旧教程修改环境或直接压测公网。

当前状态:455张知识卡、2张实践计划;全文、整书收束与首轮材料已完成。数据库导入、对账及归档状态以_workflow.md的验收记录为准;复核、审查及审查结果优化未执行。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。