主题对照

协程与线程调度模型

比较用户态协程、M:N 调度、工作窃取与抢占等调度器设计。

30 张卡片 · 9 本书

本层 30 张卡片 · 含下级覆盖 30 张卡片

本主题的卡片

Go语言底层原理剖析 · 协程初探

GMP分工

G 表示协程任务,M 表示操作系统线程,P 提供执行 Go 代码所需的调度资源。GMP 把任务、线程和调度权拆开,使大量协程能在有限线程上流动。

查看卡片与原书出处

Go语言底层原理剖析 · 深入协程设计与调度原理

G0负责调度

每个工作线程都有特殊的 g0,运行在系统线程栈上,专门执行调度、栈切换等运行时代码。用户协程让出执行权时,会切到 g0 再选择下一个 G。

查看卡片与原书出处

Go语言底层原理剖析 · 深入协程设计与调度原理

队列兼顾公平

书中 Go 1.14 的调度器里,每个 P 有一个 runnext,只记下下一个马上要跑的 G。它不为空就先跑这个 G,不去本地队列里找。本地队列是这个 P 自己的一批待运行 G,先跑它们能少把任务搬到别的 P。

若一直只跑本地任务,全局队列里的 G 可能永远轮不到。书中的做法是每调度 61 次就先从全局队列拿一个。61 是这本书里的实现数字,不能当成现行调度器的固定周期。

查看卡片与原书出处

Go语言底层原理剖析 · 深入协程设计与调度原理

窃取平衡负载

(书中 Go 1.14 调度器)当本地、全局及就绪网络任务均不可用时,空闲 P 会尝试从其他 P 的队列窃取任务;书中实现一次取约一半。工作窃取使负载扩散,减少对全局队列的集中访问,具体窃取比例与路径属于实现细节。

结构图:

flowchart LR
    A[空闲 P] --> B{本地队列为空}
    B -->|是| C[查看全局队列]
    C --> D{仍无任务}
    D -->|是| E[从其他 P 窃取一半 G]
    E --> F[取得可运行 G]
查看卡片与原书出处

Go语言底层原理剖析 · 深入协程设计与调度原理

抢占保证机会

(书中 Go 1.14)运行时监控长时间运行的 G 并请求抢占。早期实现主要在安全点检查,紧密循环可能长期占用 P;Go 1.14 起加入异步抢占,可在合适位置打断循环。抢占改善其他 G 的执行机会;信号、阈值与平台限制属于具体实现。关联[[协程可被运行时抢占]]。

查看卡片与原书出处

Go语言底层原理剖析 · 深入协程设计与调度原理

系统调用要交接

M 是操作系统线程,P 是允许执行 Go 代码的逻辑处理器。协程陷入系统调用时,这条 M 可能卡在内核里。运行时先解除 P 和 M 的绑定,把 P 交给另一条 M,让这个 P 上已经就绪的 G 继续跑。系统调用返回后,再尝试绑回原来的 P,绑不上就找空闲的 P。这样一次慢的系统调用不会把整份调度资源拖住。

查看卡片与原书出处

Go语言底层原理剖析 · 深入协程设计与调度原理

GMP调度路径全景

(书中 Go 1.14 调度器示意)用户 G 让出后切到 [[G0负责调度]];调度器按[[队列兼顾公平]]兼顾本地局部性与全局公平检查,缺任务时再考虑就绪网络任务和[[窃取平衡负载]]。若 M 因系统调用受阻,P 可按[[系统调用要交接]]交给其他 M。图展示这些职责及可能路径,不把检查顺序、61 次阈值或窃取比例当作当前版本保证。

结构图:

flowchart TD
    A[用户 G 让出或被抢占] --> B[切到 g0]
    B --> C[调度器选择可运行 G]
    C --> D{周期性公平检查}
    D -->|需要| E[查看全局队列]
    D -->|常规| F[查看本地 runnext 和队列]
    E --> G{找到可运行 G}
    F --> G
    G -->|是| H[切回用户 G]
    G -->|否| I[查看就绪网络任务或窃取其他 P 的任务]
    I -->|找到| H
    I -->|仍无| N[解绑 P 并等待新任务]
    H --> J{M 进入阻塞系统调用}
    J -->|是| K[P 可交接给其他 M]
    J -->|否| A
    K --> L[系统调用返回后尝试取得 P]
    L --> C
查看卡片与原书出处

Java高并发核心编程.卷2,多线程、锁、JMM、JUC、高并发设计模式 · 工作窃取算法

工作窃取补负载

ForkJoinPool 的工作线程有自己的双端任务队列,空闲线程可从别的队列窃取任务以减轻负载不均。本地常从一端取、窃取从另一端取,可减少争用,却不保证无竞争;任务可能已被执行而窃取失败,见 [[窃取任务是一场竞争]]。适合可拆分的 CPU 工作,阻塞任务需另评估。

查看卡片与原书出处

万亿级流量转发 BFE核心技术与实现 2021 · BFE的基础实现

协程分层

BFE转发进程中的协程分三类:网络协程,负责监听和处理用户连接、处理各协议请求、建立和读写后端连接;管理协程,负责后端健康检查、监控及热加载请求;辅助协程,由扩展模块创建,做日志切割、异步更新缓存等后台任务。短连接很多时,监听协程可能成为瓶颈,可适当增加数量。先分清实时路径与管理路径。

查看卡片与原书出处

Go语言底层原理剖析 · 协程初探

进程隔离线程共享

进程拥有相对独立的地址空间和资源;同一进程的线程共享该进程内存,并由操作系统分别调度。因此线程间共享数据更直接,也更需要同步;跨进程通信须明确边界。

查看卡片与原书出处

Go语言底层原理剖析 · 协程初探

线程切换须保存现场

操作系统从一个线程切到另一个线程时,须保存当前执行现场并恢复目标线程的寄存器等状态;跨进程切换还涉及地址空间和页表,可能扰动地址转换缓存。切换成本依平台与负载而变,不宜套用固定微秒数。

查看卡片与原书出处

Go语言底层原理剖析 · 协程初探

协程可被运行时抢占

Go 协程由运行时调度;除主动让出、阻塞和函数调用等安全点外,较新版本还支持异步抢占,不能把协程调度理解为纯协作式。抢占时机仍受安全点和平台条件约束。关联[[协程不是线程]]。

查看卡片与原书出处

Go语言底层原理剖析 · 协程初探

Go语句异步启动协程

在函数调用前写 go 会启动独立协程;发起者不等待它完成,返回值也不会交回调用点。并发任务的完成、结果和错误需要另设通信与协调机制。

查看卡片与原书出处

Go语言底层原理剖析 · 协程初探

主函数退出不等协程

main 函数返回时程序结束,运行时不会替它等待其他协程。固定 sleep 只延迟退出,无法证明任务完成;应通过通道、WaitGroup 或其他明确的完成信号协调。关联[[Go语句异步启动协程]]。

查看卡片与原书出处

Go语言底层原理剖析 · 深入协程设计与调度原理

协程状态区分等待与就绪

Go 运行时区分等待中的 G、已就绪但尚未执行的 G、正在运行的 G,以及系统调用等状态。阻塞任务须先被唤醒并转为可运行,才能重新进入调度队列;“未运行”不等于“可立即调度”。

查看卡片与原书出处

Go语言底层原理剖析 · 深入协程设计与调度原理

线程本地存储绑定M

线程本地存储为每条操作系统线程提供独立数据区。书中的 Go 运行时利用它把当前线程与 M 结构关联,以便找到当前 G、P 和 g0;寄存器及字段布局属于平台和版本实现细节。

查看卡片与原书出处

Go语言底层原理剖析 · 深入协程设计与调度原理

调度循环往返g0

(书中 Go 1.14 路径)G 让出、退出或被抢占后切到线程的 g0;调度器选择可运行 G 并恢复其执行现场,再次让出便进入下一轮。g0 承担调度工作,用户 G 承担业务代码。关联[[G0负责调度]]。

查看卡片与原书出处

Go语言底层原理剖析 · 深入协程设计与调度原理

阻塞协程须被唤醒

通道等待等阻塞使 G 进入等待态,不占用可运行队列;条件满足时,运行时把它转回可运行态并放入队列。让出 CPU 与等待事件是两种不同调度结果,后者必须有明确唤醒来源。关联[[协程状态区分等待与就绪]]。

查看卡片与原书出处

Go语言底层原理剖析 · 深入协程设计与调度原理

网络就绪重返调度

网络 I/O 等待中的 G 不会因本地队列为空就自动执行;运行时的网络轮询发现就绪事件后,才把对应 G 交回可运行调度。书中 netpoll 返回列表、首个直接执行与其余入全局队列的做法是具体实现。

查看卡片与原书出处

高可用架构·Learning as we Go(第5期) (杨卫华) · 并发之痛:Thread,Goroutine,Actor

协程与纤程是一体两面

协程通常从语言或类库视角描述可 yield/resume 的执行单元,纤程则从运行时视角描述协程被调度后形成的轻量任务。两者共享暂停、保存上下文、恢复执行的机制。它们不等同于内核线程:调度通常发生在用户空间,栈更小,可让大量等待任务复用少量线程。

查看卡片与原书出处

高可用架构·Learning as we Go(第5期) (杨卫华) · 并发之痛:Thread,Goroutine,Actor

Go协程内置调度与通信

Goroutine 把三层机制组合进运行时:协程负责暂停与继续,调度器把大量协程映射到多个系统线程,Channel 为协程提供通信并形成 CSP 模型。网络库还隐藏部分挂起与恢复细节,使业务代码能保持近似同步的写法。价值不只是“小线程”,而是把执行、调度和通信共同提升为语言运行时能力。

结构图:

flowchart LR
    A[协程机制] --> D[Goroutine]
    B[多线程调度器] --> D
    C[Channel通信] --> D
    D --> E[CSP并发模型]
查看卡片与原书出处

高可用架构·Learning as we Go(第5期) (杨卫华) · 并发之痛:Thread,Goroutine,Actor

M比N调度跨线程运行协程

M:N 调度让 M 个系统线程承载 N 个 Goroutine,执行单元不永久绑定某一线程。当线程阻塞时,其队列中的 Goroutine 可迁移;线程空闲时还能从其他队列窃取任务。这样既利用多核并行,又避免为每个并发任务创建内核线程。边界是调度只能分配 CPU,不能扩充数据库连接等外部资源。

查看卡片与原书出处

高可用架构·Learning as we Go(第5期) (杨卫华) · 并发之痛:Thread,Goroutine,Actor

网络轮询挂起与恢复协程

网络调用阻塞时,运行时把文件描述符与等待它的 Goroutine 关联,再挂起该 Goroutine,让系统线程继续执行其他任务。后台 netpoll 收到 epoll 事件后,通过关联描述找到等待者并恢复执行。这个链路把“一个连接占一条线程”改成“就绪事件唤醒轻量任务”。

结构图:

sequenceDiagram
    participant G as Goroutine
    participant R as Go运行时
    participant N as netpoll/epoll
    G->>R: 发起网络调用
    R->>N: 关联fd与pollDesc
    R-->>G: gopark挂起
    N-->>R: 返回就绪事件
    R-->>G: 找到并恢复执行
查看卡片与原书出处

Effective Go中文版 · 并发

goroutine是轻量任务

go 启动函数或方法的并发执行,函数返回时对应 goroutine 结束。它不是操作系统线程的别名:运行时调度多个 goroutine,某个任务等待 I/O 时,其他任务仍可推进。闭包中被引用的变量会在使用期间保持有效。启动操作本身不提供完成通知;需要等待结果或结束信号时,可与 [[无缓冲channel同步收发]] 配合。

查看卡片与原书出处

百万在线 大型游戏服务端开发 · Skynet入门精要

协程改变时序

协程让阻塞 API 只挂起当前消息处理流程,服务仍可处理后续消息;收益是吞吐,代价是代码顺序不等于完成顺序。余额、库存等逻辑必须显式守住时序。

查看卡片与原书出处

实时流计算系统设计与实现 · 第2章 数据采集

纤程是理想的线程

纤程把调度放在用户态,遇到 I/O 等待时让出执行权,使顺序写法也能复用少量系统线程。优势是降低大量系统线程的切换成本;限制是运行时必须知道何时挂起和恢复,CPU 密集代码若不让出执行权仍会阻塞。书中关于当时 Java 实现与 Quasar 的评价属于特定年代背景,不能代替当前平台选型验证。

查看卡片与原书出处

分布式对象存储——原理、架构及Go语言实现 · 第2章 可扩展的分布式系统

协程并行处理后台任务

Go用go启动goroutine,让心跳发送、定位消息接收与HTTP监听并发进行。多个goroutine可以由运行时调度到线程上,某任务等待I/O时其他任务仍有运行机会。无限心跳循环因放在独立goroutine中而不阻塞主入口,但并发本身不会使共享数据自动安全;共享状态仍需按访问规则同步。

查看卡片与原书出处

基于Kotlin的Spring Boot微服务实战 · Kotlin的语法

协程轻量并发

协程把异步任务写成接近同步的结构,挂起点让任务释放执行权而不是长期占用线程。它适合高并发 I/O 场景,把回调嵌套改成顺序代码。发散:协程不是让耗时消失,而是让等待期间的线程资源更有效地被复用。

查看卡片与原书出处

Java高并发核心编程.卷2,多线程、锁、JMM、JUC、高并发设计模式 · 无处不在的进程和线程

进程是程序的运行实例

程序是存储的指令和数据,进程是程序被装入内存、获得运行资源后的一次执行;同一个程序可以启动多个进程。区分两者时,要看它是否正在运行并占用资源。进程负责资源归属,具体执行还要靠[[线程是调度粒度]]。

查看卡片与原书出处

Java高并发核心编程.卷2,多线程、锁、JMM、JUC、高并发设计模式 · 进程的基本原理

进程控制块保存上下文

进程控制块(PCB)保存进程的身份、状态、资源信息及执行上下文。进程被切换出 CPU 时,寄存器、程序计数器和栈等状态留在 PCB 中,下一次调度才能接续运行。它与代码段、数据段分工:后两者提供指令和数据,PCB使操作系统能够识别和管理这次执行。

查看卡片与原书出处
辅助阅读:卢曼编号

按卢曼编号阅读

点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。

  • 展开或收起下级: 470 Flag解析命令参数 路径上下文 Go语言入门到实战(共3册) · Go语言编程之旅:第1章 命令行应用:打造属于自己的工具集 理解等级:未标注
    • 展开或收起下级: 470.b Gin的路由取舍 路径上下文 Go语言入门到实战(共3册) · Go语言编程之旅:第2章 HTTP应用:写一个完整的博客后端 理解等级:未标注
      • 展开或收起下级: 470.b.1 中间件是请求管道 路径上下文 Go语言入门到实战(共3册) · Go语言编程之旅:第2章 HTTP应用:写一个完整的博客后端 理解等级:未标注
        • 展开或收起下级: 470.b.1.a 追踪串起请求因果 路径上下文 Go语言入门到实战(共3册) · Go语言编程之旅:第2章 HTTP应用:写一个完整的博客后端 理解等级:未标注
          • 展开或收起下级: 470.b.1.a.1 IDL稳定RPC契约 路径上下文 Go语言入门到实战(共3册) · Go语言编程之旅:第3章 RPC应用:启动你的RPC服务 理解等级:未标注
            • 展开或收起下级: 470.b.1.a.1.c Metadata承载上下文 路径上下文 Go语言入门到实战(共3册) · Go语言编程之旅:第3章 RPC应用:启动你的RPC服务 理解等级:未标注
              • 展开或收起下级: 470.b.1.a.1.c.3 Pprof面向采样诊断 路径上下文 Go语言入门到实战(共3册) · Go语言编程之旅:第6章 Go语言中的大杀器 理解等级:未标注
                • 展开或收起下级: 470.b.1.a.1.c.3.a Trace观察调度过程 路径上下文 Go语言入门到实战(共3册) · Go语言编程之旅:第6章 Go语言中的大杀器 理解等级:未标注
                  • 展开或收起下级: 470.b.1.a.1.c.3.a.8 Goroutine轻量并发 路径上下文 Go语言入门到实战(共3册) · Go语言编程入门与实战技巧:第10章 并发编程 理解等级:未标注
  • 展开或收起下级: 479 并发与并行的本质区别 路径上下文 Go语言编程入门 · 发挥Go的并发优势 理解等级:未标注
    • 展开或收起下级: 479.a goroutine是线程的多路复用 路径上下文 Go语言编程入门 · 发挥Go的并发优势 理解等级:未标注
      • 479.a.1 Go协程内置调度与通信 主题成员 高可用架构·Learning as we Go(第5期) (杨卫华) · 并发之痛:Thread,Goroutine,Actor 理解等级:未标注
      • 479.a.2 M比N调度跨线程运行协程 主题成员 高可用架构·Learning as we Go(第5期) (杨卫华) · 并发之痛:Thread,Goroutine,Actor 理解等级:未标注
  • 展开或收起下级: 1480 协程不是线程 路径上下文 Go语言底层原理剖析 · 协程初探 理解等级:未标注
    • 展开或收起下级: 1480.a 并发不是并行 路径上下文 Go语言底层原理剖析 · 协程初探 理解等级:未标注
      • 展开或收起下级: 1480.a.1 GMP分工 主题成员 Go语言底层原理剖析 · 协程初探 理解等级:未标注
        • 展开或收起下级: 1480.a.1.a 协程状态区分等待与就绪 主题成员 Go语言底层原理剖析 · 深入协程设计与调度原理 理解等级:中级
          • 1480.a.1.a.1 阻塞协程须被唤醒 主题成员 Go语言底层原理剖析 · 深入协程设计与调度原理 理解等级:中级
          • 展开或收起下级: 1480.a.1.a.2 网络就绪重返调度 主题成员 Go语言底层原理剖析 · 深入协程设计与调度原理 理解等级:中级
            • 1480.a.1.a.2.a 网络轮询挂起与恢复协程 主题成员 高可用架构·Learning as we Go(第5期) (杨卫华) · 并发之痛:Thread,Goroutine,Actor 理解等级:未标注
        • 1480.a.1.b 线程本地存储绑定M 主题成员 Go语言底层原理剖析 · 深入协程设计与调度原理 理解等级:中级
    • 1480.b 协程可被运行时抢占 主题成员 Go语言底层原理剖析 · 协程初探 理解等级:中级
    • 展开或收起下级: 1480.c Go语句异步启动协程 主题成员 Go语言底层原理剖析 · 协程初探 理解等级:初级
  • 展开或收起下级: 1481 G0负责调度 主题成员 Go语言底层原理剖析 · 深入协程设计与调度原理 理解等级:未标注
    • 展开或收起下级: 1481.a 队列兼顾公平 主题成员 Go语言底层原理剖析 · 深入协程设计与调度原理 理解等级:未标注
      • 1481.a.1 窃取平衡负载 主题成员 Go语言底层原理剖析 · 深入协程设计与调度原理 理解等级:未标注
    • 1481.b 抢占保证机会 主题成员 Go语言底层原理剖析 · 深入协程设计与调度原理 理解等级:未标注
    • 1481.c 系统调用要交接 主题成员 Go语言底层原理剖析 · 深入协程设计与调度原理 理解等级:未标注
    • 1481.d GMP调度路径全景 主题成员 Go语言底层原理剖析 · 深入协程设计与调度原理 理解等级:未标注
    • 1481.e 调度循环往返g0 主题成员 Go语言底层原理剖析 · 深入协程设计与调度原理 理解等级:中级
  • 展开或收起下级: 1537 Master拆分调度 路径上下文 Java高并发核心编程.卷2,多线程、锁、JMM、JUC、高并发设计模式 · Master-Worker模式的参考实现 理解等级:未标注
    • 1537.a 工作窃取补负载 主题成员 Java高并发核心编程.卷2,多线程、锁、JMM、JUC、高并发设计模式 · 工作窃取算法 理解等级:未标注
  • 2633 协程分层 主题成员 万亿级流量转发 BFE核心技术与实现 2021 · BFE的基础实现 理解等级:未标注
  • 展开或收起下级: 3086 用队列解耦生产者与消费者的步调 路径上下文 实时流计算系统设计与实现 · 第2章 数据采集 理解等级:中级
    • 3086.b 纤程是理想的线程 主题成员 实时流计算系统设计与实现 · 第2章 数据采集 理解等级:高级
  • 展开或收起下级: 3148 进程隔离线程共享 主题成员 Go语言底层原理剖析 · 协程初探 理解等级:初级
  • 3162 协程与纤程是一体两面 主题成员 高可用架构·Learning as we Go(第5期) (杨卫华) · 并发之痛:Thread,Goroutine,Actor 理解等级:未标注
  • 展开或收起下级: 3186 进程是程序的运行实例 主题成员 Java高并发核心编程.卷2,多线程、锁、JMM、JUC、高并发设计模式 · 无处不在的进程和线程 理解等级:初级
    • 3186.a 进程控制块保存上下文 主题成员 Java高并发核心编程.卷2,多线程、锁、JMM、JUC、高并发设计模式 · 进程的基本原理 理解等级:中级
  • 4532 协程并行处理后台任务 主题成员 分布式对象存储——原理、架构及Go语言实现 · 第2章 可扩展的分布式系统 理解等级:中级

未编号或编号待整理

  • 协程改变时序 理解等级:未标注

    百万在线 大型游戏服务端开发 · Skynet入门精要

  • 协程轻量并发 理解等级:未标注

    基于Kotlin的Spring Boot微服务实战 · Kotlin的语法

来源书籍

来源书籍

Effective Go中文版

编程语言类

Skill 版本:v23

书籍类型:未标注

清单覆盖 6/9

80 张卡片

来源书籍

Go语言底层原理剖析

编程语言类

Skill 版本:v23

书籍类型:经典原理

清单覆盖 8/9

182 张卡片

主题索引

线程与任务抽象

线程的创建、状态、join/sleep/中断与收束,任务抽象为什么高于线程,线程池与 ForkJoin 的并行度与工作窃取,守护线程、ThreadLocal 与线程私有栈在什么条件下成立,以及并发结构怎样划分执行与状态;Actor/角色把状态隔离到单一线程、用 Inbox 串行收消息,是这条线的另一种解法。

112 张卡片 · 27 本书