← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1716.c.1.d

大数据导出注意写入顺序

理解等级:中级

特点:数据量巨大、导出慢、容易内存溢出,CPU 和内存消耗严重。

流程:读取数据库(在海量数据中按条件查找,往往最耗时)→ 分页加载到内存 → 按格式组织行数据(顺序、样式、格式)→ 写入磁盘文件。

四项优化: 1. 全流程异步化:发起后立即返回,提供导出进度、数据量、耗时、导出条件的查询; 2. 优化查询:见大数据查询设计; 3. 一次尽量多加载:减少 I/O 次数; 4. 多线程组织数据和写文件,但要注意写入顺序:不要求顺序可以多线程直接写;要求顺序则写入前先做队列化处理。

调优建议: - 选 TXT、CSV,避免 Excel——单元格类型、字体、颜色、表格线与数据准确性无关,却浪费大量计算时间; - 单文件过大读写性能极大降低、用户也难以查看,拆成多个小文件再打包压缩供下载; - 尽量避免排序——数据库查询和文件写入中排序都很耗时。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《架构基础:从需求到架构》第10章《第10章 关系型大数据架构设计》10.4 大数据导出设计(源文件:extracted/架构基础:从需求到架构/_epub-src/OEBPS/Text/Chapter_10_4.xhtml,来源项目 book-sources) - 结论依据:10.4节说明大数据导出量大易内存溢出的特点和四步流程,提出全流程异步、优化查询、一次多加载、多线程处理且按顺序要求队列化四项优化,以及选用TXT或CSV、拆分小文件打包、避免排序三条调优建议;10.5节练习解释了避免Excel的原因。 - 原始内容:如果导出内容要求数据的顺序,则在写入数据前进行队列化处理。