知识卡片
时间线推拉模式各有代价
微博时间线有两种取数方向:拉模式在用户访问时汇总被关注者的内容,读侧成本随关注对象与候选内容增加;推模式在发布时预写入粉丝队列,读侧简单,但写入量和存储量受粉丝数及发言频率影响。书中的千人关注、千万粉丝和五小时延迟是当时系统的案例数字,不是通用性能公式。选择取决于关注图、活跃度、更新频率和资源上限。
结构图:
flowchart LR
A[构建用户时间线] --> B[拉模式: 站在收听者视角]
B --> B1[访问时现查关注列表+汇总内容]
B1 -.关注数越大, 每次查询越慢.-> B2[问题随关注数线性增长]
A --> C[推模式: 站在发布者视角]
C --> C1[发布时立即推送给所有粉丝的收听队列]
C1 -.粉丝数越大, 单次推送耗时和存储量越大.-> C2[可能先碰到写入或容量上限]
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据时代的IT架构设计》第4篇《内存作为统一存储实践》引言部分(源文件:
_epub-src/OEBPS/text00022.html)
- 结论依据:原文详述拉模式在关注人数达到1000人级别时第二步查询会耗时过长,推模式
在粉丝达到千万级别时单次推送需5小时、存储量以几何形式增长导致硬盘空间耗尽,直接
支撑本卡片关于两种模式对称代价的结构梳理。
- 原始内容:当关注的人达到了1000人,那么这种模式就会导致第二步会在很长的时间内无法
做出来……如果类似这样的用户说了一句话,他需要更新的那个所谓的收听者队列就是1千万
数量级的……大约每分钟可以推送10万条队列……最后一个听众大约是在5个小时之后才能被
插入到他的队列中……数据量是以几何形式快速增长的,最后发现撑不住的首先不是时间,
而是硬盘空间满了。