知识卡片

普通读书笔记卡 · 1790.d

批量写入摊薄开销

理解等级:中级

队列可以先接收页面浏览事件,再由工作进程一次取多条、合并数据库写入,减少逐事件请求的开销。数据库暂时过载时,积压留在队列中,接收端无需同步等待每次写入。它缓解写入压力并吸收短时峰值,但数据库持续处理不过来时,单靠队列无法消除瓶颈。

与[[队列解耦速度]]的联系:队列缓冲为批量写入摊薄请求开销提供条件。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      所谓重构后端,不是让Web服务器直接访问数据库,而是在Web服务器和数据库之间插入一个队列。当你收到一个新的页面浏览后,该事件被添加到队列中;然后创建一个一次从队列中读取100个事件的工作进程,并在单个数据库更新操作中批量插入它们,如图1-2所示。

    参考来源

    - 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第1章《大数据的新范式》(来源项目 book-sources;源文件:extracted/大数据系统构建:可扩展实时数据系统构建原理与最佳实践/_epub-src/OEBPS/Text/009.xhtml) - 结论依据:原文先给出队列与批量更新,再指出数据库最终仍可能成为瓶颈,支撑批量化的收益与边界。 - 原始内容:所谓重构后端,不是让Web服务器直接访问数据库,而是在Web服务器和数据库之间插入一个队列。当你收到一个新的页面浏览后,该事件被添加到队列中;然后创建一个一次从队列中读取100个事件的工作进程,并在单个数据库更新操作中批量插入它们,如图1-2所示。