应用循环三件事
图形应用框架主要做三件事:更新、重绘、事件分发。动画就是基于时间更新状态,再用新状态重绘,二者需要不间断重复,由requestAnimationFrame驱动;事件分发把外部输入转成应用内部可处理的事件。框架把这三件事固定下来,具体的演示代码就只需关心场景本身。
主题对照
Canvas2D 与 WebGL/OpenGL 实时渲染中的渲染循环、状态机与绑定时序、顶点与索引数据组织、坐标系与矩阵变换、资源格式解析、可见性裁剪与骨骼蒙皮动画的做法与取舍。
图形应用框架主要做三件事:更新、重绘、事件分发。动画就是基于时间更新状态,再用新状态重绘,二者需要不间断重复,由requestAnimationFrame驱动;事件分发把外部输入转成应用内部可处理的事件。框架把这三件事固定下来,具体的演示代码就只需关心场景本身。
纹理图像、场景文件和动画文件都从服务器异步加载,而渲染器必须等这些资源到位后才能绘制。若在加载完成前就启动渲染循环,会拿到空资源或不确定的顺序。书中用Promise和async/await把加载过程写成可等待的步骤:先等资源加载完成,再启动循环,异步加载因此恢复成可推理的初始化流程,见[[并发加载要汇合]]。
requestAnimationFrame按屏幕刷新频率驱动每帧更新,但不是所有任务都需要这个频率,例如每0.25秒旋转一次、定时切换纹理。书中在应用中加入定时器系统:按屏幕频率的更新写在update里,其他频率的任务交给定时器回调。删除定时器只做逻辑删除、标记为不可用,下次添加时重用,避免反复创建对象。
浏览器的鼠标、键盘事件面向整个页面,而画布应用只关心“画布内发生了什么”。书中把两类事件的共有部分抽象成CanvasInputEvent,由框架把DOM事件转换成对应子类;鼠标位置则用鼠标在浏览器视口中的坐标减去画布在视口中的偏移,得到相对画布的坐标。后续场景代码不再重复处理浏览器坐标细节。
WebGL是一个渲染状态机:bindBuffer、useProgram、bindTexture这类调用,是在告诉它“现在操作哪个对象”;之后的数据上传、参数设置和绘制都作用于当前活动对象。有多个缓冲区时,每次都要先绑定再操作。调试WebGL时,很多错误不是数据错了,而是状态没有切到预期的对象上,见[[VAO封存绑定]]。
着色器中attribute和uniform的查询信息,要在着色器编译、Program链接成功之后才有;链接前查询得到的是空结果。而且只有真正被使用过的变量才是“活动”变量,声明了却没用到的变量会被丢弃,查询不到位置。区分“声明了”和“链接器保留了”,就能解释很多拿到空位置的困惑。
顶点属性有三种存储方式:交错数组,把每个顶点的位置、颜色等连在一起存进一个缓冲区;顺序数组,同一缓冲区里先存全部位置、再存全部颜色;分离存储,每种属性各用一个缓冲区。书中的静态网格用交错数组。一般而言,交错布局便于整体提交,分离布局便于单独更新某种属性。CPU端如何生成数据见[[动态数组重用]]。
vertexAttribPointer和enableVertexAttribArray必须在绑定对应的顶点缓冲之后调用,因为它们记录的是“当前绑定的缓冲区里,这个属性从哪个字节开始、每隔多少字节读一次”。这里的“指针”不是内存指针,而是状态机里的一条解释规则;步长和偏移都以字节计。调用顺序错了,属性就会关联到错误的缓冲区。
drawArrays按顶点顺序直接绘制,共享的顶点必须重复存储;drawElements通过索引缓冲复用顶点。书中以一个四边形为例:去掉两个重复顶点省下56字节,只多出12字节索引,网格成千上万时节省可观。调用drawElements前要同时绑定顶点缓冲和索引缓冲;它的偏移参数以字节为单位,按第几个索引算时要乘以索引元素的字节数。
顶点包含哪些属性(位置、纹理坐标、法线、颜色等),可以用一个整数的位来表示:每种属性对应1左移n位后的一位,组合时按位或,判断时按位与。一个32位整数就能容纳32个开关,比一组布尔值紧凑得多,也便于作为参数整体传递。渲染底层常用位集合,正是因为紧凑且判断快。
bindAttribLocation用来在链接前指定“某个寄存器编号对应哪个attribute变量”,例如0号给位置、1号给颜色,所以必须在Program链接之前调用;书中为此在链接函数中提供链接前回调。预先固定编号后,运行时不必再按名字查询位置,不同网格与着色器之间的属性约定也更明确,见[[位标记顶点属性]]。
VAO把顶点缓冲、索引缓冲以及各属性的指针和启用状态封存在一个对象里:初始化时设置一次,绘制时只需绑定这个VAO。书中说它能大幅减少每次绘制前的属性绑定调用,把易错的状态恢复变成对象级切换,见[[WebGL是状态机]]。书中使用的是WebGL 1的扩展对象;WebGL2已将VAO纳入核心接口,实际代码应按能力检测选择。
书中的网格抽象分成两个子类:静态网格GLStaticMesh面向场景这类不变的几何,顶点和索引上传一次后反复绘制;GLMeshBuilder面向每帧动态生成顶点的几何,如调试线框、坐标系,每帧生成并提交。把缓存复用和即时绘制分给两个类,避免一个抽象同时承担两种相反的使用模式。
着色器的编译和链接有成本,书中用单例GLProgramCache保存预先编译链接好的常用程序(颜色着色器、纹理着色器),任何地方都能通过唯一实例取用;需要新的着色器程序时也加入这里。缓存不只是性能优化,也划定了哪些着色器是框架提供的公共能力。
同为右手系或同为左手系的坐标系,总能通过旋转重合;手向性不同的坐标系,无论怎样旋转都无法重合,必须翻转某个轴,例如把WebGL的Z轴取反才能与D3D的坐标系重合。模型文件、引擎和图形接口之间总要有一层坐标转换,原因就在这里,见[[场景坐标要换]]。
点乘把两个向量变成一个标量,它的符号就能说明方向关系:大于零,夹角为锐角,方向基本相同;等于零,两者垂直;小于零,夹角为钝角,方向基本相反。实时渲染里判断朝向、正反面时,看符号就够了,不必真的去求角度。
叉乘只用于三维向量,结果是一个同时垂直于两个输入向量的新向量,方向按右手定则确定,交换两个向量的顺序,结果方向相反。它常用来求三角形法线、构造摄像机的坐标轴,也能判断三角形顶点的绕序,和[[坐标系手向性]]一起决定空间中的方向。
一个点要显示出来,先后经过三次变换:用平移、旋转、缩放合成的模型矩阵,从局部坐标系变到世界坐标系;用视图矩阵变到摄像机坐标系;用投影矩阵变到裁剪坐标系,最后由视口映射到屏幕。书中矩阵堆栈负责第一步,摄像机负责后两步。拆开理解,才能看清物体运动、镜头运动和投影方式各在哪一步发生。
四元数只用4个浮点数表示旋转,比矩阵省内存,多次旋转叠加时计算量也更小;它支持球面线性插值,适合骨骼动画的关键帧插值,还能避免欧拉角表示带来的万向节锁。所以很多引擎内部用四元数存储和插值旋转,提交渲染前再转成矩阵。使用时要保持四元数为单位长度。
三维空间分割靠平面:平面可由三个不共线的点生成,也可由法向量加一个点生成。法向量为单位向量时,把点代入平面方程就得到有向距离,能快速判断点在正面、背面还是平面上。这个小工具是空间分割、碰撞检测和[[视截体先裁剪]]的基础。
多视口不只是把画面切成几块:每个视口显示一个独立场景,拥有自己的背景色和从局部坐标到屏幕坐标的整套变换流水线。建模软件同屏显示正视、顶视、侧视和透视,画中画、多路监控也是如此。摄像机与视口可以一对一、一对多或多对多搭配,取决于需求。
WebGL的纹理坐标原点在左下角,x向右、y向上;D3D等约定则把原点放在左上角、y向下,一些资源格式也是如此。贴图方向不对时,问题往往不在图片,而在两套纹理坐标约定没有对齐。转换应在资源导入时统一处理,而不是散落在各处绘制代码里,见[[场景坐标要换]]。
Atlas贴图把多张小图放进一张大纹理,几何体的各个面通过不同的纹理坐标取其中一块。书中给立方体传入一组纹理坐标数组,6个面各一组,就能把一张纹理的不同区域分别贴到6个面上。一般而言,这样能减少纹理切换,但纹理坐标必须准确描述子区域边界,稍有错位就会串图。
绘制辅助坐标系时,关闭深度测试,它总是画在最上面、始终可见;开启深度测试,它会被场景中的物体遮挡,只露出一部分。两种都不是错误:调试叠加层需要始终可见,表达真实的空间关系则需要遮挡。选择渲染状态,其实是在选择想表达的视觉含义。
WebGL不擅长绘制文字,但同一个画布可以同时拥有WebGL和Canvas2D两个上下文,书中就用Canvas2D来画文字。前提是把三维中的点依次经模型视图投影变换、视口变换映射到屏幕坐标;而Canvas2D的原点在左上角、y轴向下,还要再翻转y。只有文字和几何落在同一套屏幕坐标上,轴标签才会贴在正确位置。
Quake3的BSP文件头里有一组目录项(lump),每项记录一个数据块在文件中的字节偏移和长度,共17项。解析器先读文件头,就能直接跳到顶点、索引、纹理或表面数据所在位置读取。文本格式做不到这种随机访问,只能先把整个文件解析一遍。读取前还应校验偏移和长度是否越界,见[[DataView管偏移]]。
Quake3的坐标系是x向右、y向前、z向上,WebGL是x向右、y向上、z向前;Quake3的纹理坐标y轴朝下,WebGL朝上。解析BSP文件只得到“源格式下正确”的数据,渲染前还要把顶点和纹理坐标都转换成目标接口的约定,书中在读出每个顶点后统一调用转换函数完成,并顺带缩放。
BSP解析出的顶点、索引、纹理和表面信息不能直接绘制。书中用compileMap把它们重组成静态网格需要的大顶点缓冲和索引缓冲,再为每个表面记录在索引缓冲中的字节偏移和元素数量,绘制时按表面寻址。解析是读懂文件,编译是接入渲染框架,两步分开,渲染框架就不必了解任何文件格式。
Quake3的BSP文件按顺时针存储三角形顶点索引,而WebGL默认把逆时针视为正面。直接开启背面剔除,本该显示的面会被剔掉,场景残缺。书中的一种做法是绘制前把正面设为顺时针,绘制后恢复默认。坐标系转换之后还要检查绕序,因为方向约定会同时影响剔除、法线和光照。
Doom3的PROC场景是文本格式。书中先用词法解析器按规则把文本切成一个个记号(字符串、数字等),场景解析器再逐个读取记号,识别出模型、门户、节点等结构。词法和语义分成两层:记号怎么切只写一次,文件结构怎么组织另写,格式代码更易维护,也可以复用到其他文本格式。
点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。
来源书籍
图形渲染引擎实战类
书籍类型:工程实践
清单覆盖 7/7
47 张卡片
来源书籍
图形渲染引擎实战类
书籍类型:工程实践
清单覆盖 5/5
46 张卡片
主题索引
比较缓存穿透、雪崩、热点等问题的成因与应对方案。
主题索引
比较渐近复杂度、摊销分析、基准测试以及以抽象换空间、局部性等时间与空间效率的权衡。
主题索引
把算法、职责与对象间通信分配清楚:责任链、命令、解释器、迭代器、中介者、备忘录、观察者、状态、策略、模板方法、访问者。
主题索引
比较采样剖析、火焰图、执行追踪与调用栈诊断的使用方法和解读边界。
主题索引
比较数据交换格式的简洁性、互通性与安全解析要求。
主题索引
比较 Future、回调、监听器与阶段式编排在阻塞、线程归属、组合与异常传播上的差异。
与 2 张主题卡片存在结构化链接;共享 2 个其他主题;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;来自相同书籍;属于相同分类