Netty的异步事件驱动
Netty 的 Channel IO 调用返回 ChannelFuture,调用方可注册监听器,在操作完成后处理结果。监听器不会阻塞当前线程;在事件循环内等待 Future 或执行耗时任务却会阻塞处理。Netty 提供编解码器和可组合的 ChannelHandler,简化网络程序;吞吐与缺陷修复仍须按传输实现和版本核对。
主题对照
Netty 的反应器、通道、流水线与处理器、ByteBuf 内存管理和编解码器的设计与使用边界。
Netty 的 Channel IO 调用返回 ChannelFuture,调用方可注册监听器,在操作完成后处理结果。监听器不会阻塞当前线程;在事件循环内等待 Future 或执行耗时任务却会阻塞处理。Netty 提供编解码器和可组合的 ChannelHandler,简化网络程序;吞吐与缺陷修复仍须按传输实现和版本核对。
Netty 的 NIO 服务端示例用 NioEventLoopGroup 承担事件轮询,常以 Boss 接收连接、Worker 处理已接收通道;ChannelHandler 处理通道事件,ServerBootstrap 负责组装轮询组、通道类型、选项和子通道流水线并绑定端口。这是该传输实现的 Reactor 分工,具体线程和通道映射由配置决定。
Netty 的入站是从通道传到处理器的方向,例如数据到达后触发 channelRead;出站是从处理器传到通道的方向,例如 write 写数据。它们是应用层概念,和 Java NIO 的 OP_READ、OP_WRITE 就绪事件不是一个维度:入站不只处理读事件,出站也不只对应可写事件。
Netty Channel 抽象传输;本书的 NIO 实现中,NioServerSocketChannel 负责监听,NioSocketChannel 负责 TCP 连接,NioDatagramChannel 面向 UDP。它们封装 Java NIO 通道,让上层 Handler 使用统一接口。具体传输与 OIO 支持取决于 Netty 版本,不能由旧例推断每种协议都有两套实现。
在本书的 NIO 传输中,NioEventLoop 可看作一个子反应器:由一个线程驱动 Selector,对多个注册通道轮询并分发就绪事件。多个 EventLoop 组成 EventLoopGroup,分担通道及任务。可承载通道数和默认线程数受版本、配置与负载影响;书中“CPU 核数的 2 倍”只是所用版本的默认设置,不是固定规律。
每个 Netty Channel 有自己的 ChannelPipeline,把多个 Handler Context 串成双向链表;一个 Handler 实例只有适合共享时才能复用于多条流水线。入站事件沿链表向尾部传播,出站操作向头部传播,并跳过不处理该方向的节点。处理器可决定是否继续传播;起点若是某个 Context,传播范围还受起点限制。
服务端监听 socket 接受连接;每次接受会产生负责该连接读写的 socket。Netty 把监听用的 NioServerSocketChannel 称为父通道,把接受的 NioSocketChannel 称为子通道。ServerBootstrap 的 childHandler 为每个子通道初始化流水线;父通道通常只做接收等默认处理,但需要特殊监听逻辑时也可用 handler 配置父通道。
服务端引导类依次配置轮询组、通道类型、端口、通道选项与子通道流水线,再绑定并管理关闭。只配一个轮询组也能运行;分开 Boss 与 Worker 可降低耗时处理拖慢接收的风险。option 作用于监听父通道,childOption 作用于接收的子通道;书中 Discard 示例把 SO_KEEPALIVE 放在 option,目标若是 TCP 连接应使用 childOption。
Netty 的 bind、connect、write 等异步通道操作返回 ChannelFuture,调用返回不等于操作成功;应检查完成后的结果。可在启动线程对 bind().sync() 等待绑定,或给 Future 添加监听器。closeFuture().sync() 常用于主线程等待关闭;不要在所属 EventLoop 内阻塞等待自身任务,以免卡住事件循环。
EmbeddedChannel 可把 Handler 装入测试流水线,无需真实客户端和服务端:用 writeInbound 输入模拟入站消息,writeOutbound 输入出站消息,再检查流水线输出及资源释放。它便于验证编解码和传播行为,但不覆盖真实网络的分片、拥塞、连接生命周期与时序,不能代替端到端测试。
示例依次触发 handlerAdded→channelRegistered→channelActive,读取时触发 channelRead、channelReadComplete,关闭时触发 channelInactive→channelUnregistered→handlerRemoved。这只是示例:Handler 可提前移除;readComplete 表示读取操作结束,不对应每条消息。
ChannelPipeline 可运行时增加、删除 Handler。某个处理器在一次入站事件中调用 remove(this) 后,不再接收后续事件;已经传播中的事件应按当次调用链判断。ChannelInitializer 负责给新通道装配业务处理器,完成初始化后会把自己移出该通道流水线,避免同一通道重复装配。
每个 Channel 有一条 Pipeline,其链表节点是 ChannelHandlerContext,节点关联一个 Handler、通道和执行器。调用 Pipeline 的入站/出站方法通常从头/尾启动;从某个 Context 发起则只向后/向前传播到下一个匹配方向的节点。Handler 可以有状态;同一实例能否跨通道共享须按 @Sharable 及状态安全判断。
每条流水线一开始就有头节点 HeadContext 和尾节点 TailContext,自定义处理器都插在两者之间。入站从头节点开始向后传,未被截断的数据最终到达尾节点,由它做释放缓冲区、处理异常等收尾;出站从尾节点开始向前传,最后到达头节点,由它通过 unsafe 把数据真正写入底层通道。
入站处理器不调用父类 channelRead 或 ctx.fireChannelRead,就会在本站停止传播;若持有引用计数消息,仍须处理其归属或释放。书中“出站不能截断”应理解为不能静默丢弃:出站 Handler 可以拦下 write,但必须让 ChannelPromise 成功或失败,并妥善释放不再传递的消息,否则调用方可能一直等待或泄漏资源。
Netty 的 ByteBuf 用 readerIndex、writerIndex、capacity 划分已读、可读和可写区,读写各推进自己的索引,通常无需像 ByteBuffer 那样调用 flip。get/set 不移动索引,read/write 会移动;写入空间不足时可尝试扩容,但受 maxCapacity 和具体实现限制。直接内存缓冲区不一定有可访问的底层 byte[]。
ByteBuf 通常以引用计数 1 开始;retain 增加持有次数,release 减少,归零后不能再使用。谁消费入站消息,谁负责释放;若传给下一处理器,则所有权随之转移。额外 retain 必须有对应 release。池化缓冲区归零后可复用内存,非池化堆缓冲由 GC 回收;不能假定流水线总会替业务处理器自动释放。
池化分配器复用 ByteBuf 底层内存,可减少频繁分配和释放的开销;是否降低总内存占用须按负载、池配置和回收行为测量。书中“一万连接、约 10GB”的数值只是未给出完整环境的示例,不能当作通用容量估算。ByteBufAllocator.DEFAULT 的具体实现受 Netty 版本、平台和系统属性影响,需在目标环境核对。
直接内存缓冲区不在 Java 堆内,可在某些 I/O 路径减少堆与本地内存间复制,但并不保证普通读写总比堆缓冲快;分配和释放成本也依赖实现与池化。需要底层数组时先检查 hasArray(),返回 false 不等于一定是直接缓冲区。处理数据可使用 ByteBuf API,无须一概先复制到堆;buffer() 默认取堆或直接内存取决于分配器。
入站消息传到流水线尾节点且无人消费时会被释放;SimpleChannelInboundHandler 默认在 channelRead0 处理匹配消息后自动释放。若自定义处理器消费消息而不继续传递,就应按所有权释放或移交。Netty 会在出站写入流程完成相应操作时释放已接管的消息;中途拦截或异步保留消息须明确引用计数责任,避免泄漏或提前释放。
slice() 取得可读区域视图,duplicate() 取得整个缓冲区视图;两者共享底层内容,但有独立读写索引,默认不增加引用计数。切片容量固定为其区域长度,不代表内容不可修改。若视图要在原持有者 release 后继续使用,先用 retainedSlice/retainedDuplicate 或显式 retain;新增的一次持有用完 release 一次,原持有者仍须履行自己的释放责任。
CompositeByteBuf 逻辑组合缓冲区,slice/duplicate 共享内容,wrappedBuffer 包装已有数据,都可减少应用层复制。FileRegion.transferTo 可能借助内核传输优化,取决于平台和路径;直接内存也只在部分 I/O 路径减少复制。这些机制不能统称为“完全只有用户态的零拷贝”。
ChannelHandler 实例跨流水线复用须保证并发安全。无通道私有可变状态的处理器可标注 @ChannelHandler.Sharable;通道状态可放入关联属性。注解只声明可共享,不自动保证线程安全。未标注的 ChannelHandlerAdapter 通常不能重复加入流水线;isSharable() 可检查标注。
ByteToMessageDecoder 是入站处理器基类,负责累积输入字节、反复调用子类 decode,并把 out 列表中的结果逐个传给下一站。子类负责检查是否有完整消息、推进读索引并加入解码结果;一次输入可能产生零个或多个对象。它把固定流程与具体协议解析分开,体现模板方法模式。
ByteToMessageDecoder 接管传入 ByteBuf 的生命周期:可能先把数据累积起来,待消费完再释放相关缓冲区;不应假定每次 decode 后原入站对象立刻 release 一次。若要把派生视图或原缓冲区交给下游长期使用,须明确 retain 与后续 release 的所有权。与[[入站出站的自动释放]]互补。
ReplayingDecoder 向 decode 提供专用缓冲区视图;读到尚未收到的字节时抛出内部重放信号,框架回退到检查点,保留未完成数据,更多数据到达后重试。它可简化分帧时的长度检查,但 decode 可能为同一消息执行多次,外部状态和副作用必须可重放或由 checkpoint 管理。
需要多次读取才能完成的解码(如先读长度再读内容),可用 ReplayingDecoder 的 state 记录当前阶段。每完成一个阶段调用 checkpoint:既更新 state,又把当前读指针存为检查点。之后若数据不够,读指针会退回检查点,下次从这里重读,已完成的阶段不必重做。这类解码器有状态,不能在通道间共享。
ReplayingDecoder 不宜用于复杂解析:装饰缓冲区并不支持所有 ByteBuf 操作;长度不够时要抛错、回退读指针、结束本次解析,网络差时同一包会被反复解析,很耗 CPU。复杂场景应继承 ByteToMessageDecoder,读前用 markReaderIndex 标记,长度不足时用 resetReaderIndex 退回。
ByteToMessageDecoder 表面上无状态,其实内部有一个字节累积器,保存还没解析完的二进制数据;ReplayingDecoder 还要保存阶段状态。所以这两类解码器及其子类都有状态,每次初始化通道流水线时都要新建实例,不能像无状态处理器那样加 @Sharable 共享。与[[无状态处理器可共享]]对照。
除了字节与对象互转,还可以把一种对象转换成另一种:解码用 MessageToMessageDecoder,编码用 MessageToMessageEncoder,同样是模板模式,子类实现 decode 或 encode 并把结果放进列表。它们必须用泛型指明输入类型,因为不像字节解码器那样输入一定是 ByteBuf。
点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 5/7
97 张卡片
来源书籍
高并发网络编程类
书籍类型:工程实践
清单覆盖 7/7
193 张卡片
来源书籍
编程语言类
书籍类型:经典原理
类别清单尚未核对
191 张卡片
来源书籍
源码分享类
书籍类型:工程实践
清单覆盖 8/8
76 张卡片
来源书籍
源码分享类
书籍类型:工程实践
清单覆盖 8/8
56 张卡片
来源书籍
实时流计算系统类
书籍类型:未标注
清单覆盖 8/8
172 张卡片
主题索引
比较进程/线程并发模型、I/O 多路复用、Reactor 与 Proactor 等单机高性能设计。
主题索引
Reactor 与事件循环的基本结构,Netty 的 IO 线程与业务线程分工,Nginx 的事件模块、posted 请求、子请求调度与缓冲输出,响应式流的建模方式,以及阻塞调用如何破坏异步链路。
主题索引
比较不同语言与框架如何表达独占/共享所有权、释放时机和作用域退出清理。
主题索引
比较分级分配、页/块管理与多级缓存降锁等分配器设计。
与 2 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;来自相同书籍;属于相同分类