知识卡片
批量写入摊薄开销
队列可以先接收页面浏览事件,再由工作进程一次取多条、合并数据库写入,减少逐事件请求的开销。数据库暂时过载时,积压留在队列中,接收端无需同步等待每次写入。它缓解写入压力并吸收短时峰值,但数据库持续处理不过来时,单靠队列无法消除瓶颈。
与[[队列解耦速度]]的联系:队列缓冲为批量写入摊薄请求开销提供条件。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
所谓重构后端,不是让Web服务器直接访问数据库,而是在Web服务器和数据库之间插入一个队列。当你收到一个新的页面浏览后,该事件被添加到队列中;然后创建一个一次从队列中读取100个事件的工作进程,并在单个数据库更新操作中批量插入它们,如图1-2所示。
参考来源
- 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第1章《大数据的新范式》(来源项目 book-sources;源文件:extracted/大数据系统构建:可扩展实时数据系统构建原理与最佳实践/_epub-src/OEBPS/Text/009.xhtml)
- 结论依据:原文先给出队列与批量更新,再指出数据库最终仍可能成为瓶颈,支撑批量化的收益与边界。
- 原始内容:所谓重构后端,不是让Web服务器直接访问数据库,而是在Web服务器和数据库之间插入一个队列。当你收到一个新的页面浏览后,该事件被添加到队列中;然后创建一个一次从队列中读取100个事件的工作进程,并在单个数据库更新操作中批量插入它们,如图1-2所示。