知识卡片
内存缓存复用中间计算结果
内容
分布式计算框架默认是惰性求值的：如果一份中间数据被后续多个步骤反复用到，但没有显式缓存，每次用到时都会从数据源重新算一遍完整的计算链路，而不会自动复用之前的结果。把这份中间数据显式持久化到内存后，后续操作可以直接复用已经算好的结果，省掉重复计算的开销。
参考来源
- 位置：《用户画像：方法论与工程化解决方案》第5章《开发性能调优》（源文件：_epub-src/OEBPS/text00087.html）
- 结论依据：原文围绕“在画像标签每天ETL的时候，对于一些中间计算结果可以不落磁盘，只需把数据缓存在内存中”给出定义、场景或处理方式，支撑卡片对“内存缓存复用中间计算结果”的概括。
- 原始内容：在画像标签每天ETL的时候，对于一些中间计算结果可以不落磁盘，只需把数据缓存在内存中。而使用Hive进行ETL时需要将一些中间计算结果落在临时表中，使用完临时表后再将其删除。