知识卡片
大数据导入全流程异步
特点:一是行数多;二是数据量不大,但每行每列都需要大量关联校验和计算。
流程:加载数据(文件读入内存)→ 读取数据单元(逐行再逐列,最小处理单位)→ 校验(非空、重复、关联数据)→ 插入数据库,校验不通过的记录错误原因。
四项优化: 1. 全流程异步化:实时交互要用户一直等,超过 10 秒就无法忍耐;上传后立即返回成功,再提供导入进度查询——实时看到进度、结果和校验失败原因; 2. 分批次、分页加载:大文件不一次性加载,避免内存溢出; 3. 多线程读取和校验:避免双层 for 循环逐条处理; 4. 多线程批量插入:校验通过的数据汇成一批插入一次,避免逐条插入。
调优建议: - 选 TXT、CSV 等不带样式的格式,避免 Excel——数据类型和单元格样式更复杂,解析额外损耗大; - 单表导入前把主键字段有序排列,提高插入速度; - 单表导入若已提前检查无误,可暂时关闭唯一性检查、外键检查、自动提交。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 关系型大数据架构设计 · 查看原书依据
采用异步导入的方式,用户上传数据文件后则立即返回成功,再提供导入进度查询功能,可以实时看到数据的导入进度、导入结果、数据校验失败的原因。
参考来源
- 位置:《架构基础:从需求到架构》第10章《第10章 关系型大数据架构设计》10.3 大数据导入设计(源文件:extracted/架构基础:从需求到架构/_epub-src/OEBPS/Text/Chapter_10_3.xhtml,来源项目 book-sources)
- 结论依据:10.3节说明大数据导入行数多且需大量关联校验的特点,给出加载、读取、校验、插入四步流程,提出全流程异步并提供进度查询、分批加载、多线程校验、批量插入四项优化,以及选用TXT或CSV、主键有序、暂时关闭约束检查三条调优建议。
- 原始内容:采用异步导入的方式,用户上传数据文件后则立即返回成功,再提供导入进度查询功能,可以实时看到数据的导入进度、导入结果、数据校验失败的原因。