知识卡片
超热内容跨组分散流量
新浪案例先用访问日志识别热点,再按视频 ID 取模分组,令各组缓存不同的热点内容;单个 视频流量极高时,固定取模会把请求压在一组,因而另设“超热”规则,把该视频的请求分散 到各组。热点发现又从每日分析改为约每五分钟分析,并在发布时主动推送。90% 访问占比、 六组、95% 命中率是当时测得的案例值,不能直接当作其他系统的容量目标;分散超热请求前 还要确认各组有该内容及足够带宽。
结构图:
flowchart TD
A[按访问日志识别热点] --> B[按VID取模分组缓存]
B --> C[各组承担不同热点]
C -.固定分组遇到单个极热视频.-> E[单组过载]
E --> F[超热请求分散到各组]
F --> G[先确认各组有内容与容量]
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据时代的IT架构设计》第6篇《庶民架构——新浪视频后台架构变迁》"一、
视频点播CDN"(源文件:_epub-src/OEBPS/text00029.html)
- 结论依据:原文说明每天1-2万文件占90%以上访问量、按VID取模分6组缓存热点、命中率
超过95%,以及极热视频会拖垮固定分组因此引入超热概念随机分配流量,直接支撑本卡片
的两级分组机制结构梳理。
- 原始内容:这些文件访问量占每天总访问量的90%以上……我们将热点视频按照VID取模的
方法分了6个组……上线后热点覆盖率基本都在90%以上,每一台单机squid的缓存命中率有
95%以上……极热的视频在哪个分组都会把那组服务器拖死,这个时候引入了一个"超热"
的概念,一旦认为某视频是超热的,在给它分组的时候随机分配。