← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 5304.d.3

热点、容量与访问控制

理解等级:中级

热点:资源因访问过多而过载导致操作失败。例:多个工作节点访问同一个服务任务导致过载;并发访问只在一台机器上的一段数据耗尽 CPU(如 Spanner 的某个分片因问题数据段过载,而其他数据都正常);数据库行级锁争用;并发访问硬盘超过磁头寻道能力(考虑 SSD);需要大量资源的大工作单元。对策:阻止单条记录等细粒度数据,让其他部分继续(基础设施常提供此功能);框架把大工作拆小动态再平衡;在客户端逻辑中内置紧急开关,能通过标志或配置快速跳过匹配特定模式或问题用户的输入;重组数据或访问模式以分散负载;减少负载(如静态分配部分数据);降低锁粒度。

自动扩缩与资源规划:负载峰值常见,自动扩缩让你不必 100% 时间按峰值配置——对可变的流式管道尤其重要(批处理管道可同时运行并用尽可用资源)。预测增长并相应分配容量;权衡资源成本与提升效率所需的工程量;成本不只是运行作业——还有数据存储、跨区域复制的网络带宽,有的存储系统比别的贵,大数据集或昂贵的访问模式会迅速累积成本——定期检查并修剪未使用的数据。效率和资源使用要按单个阶段度量(与端到端 SLO 相对):例如发布后 BigQuery 用量大增,能快速定位是哪个作业,就能有的放矢地降成本。

隐私、安全与数据完整性:不在临时存储中保存个人身份信息(PII),必须保存时要正确加密;最小权限——每个阶段只获准读取上一阶段的输出;对日志和 PII 设 TTL;例如按功能拆分 GCP 项目和 BigQuery 实例,用视图做受控的跨项目访问,限制含敏感客户信息的表只对特定角色开放。

升级路径:管道应有足够弹性,使机器或区域故障永远不触发违反 SLO 的呼叫——被呼叫时说明自动化手段已用尽、需要人工干预;有了明确的 SLO、可靠的指标和告警,应在客户发现或报告前收到告警,违反 SLO 时迅速反应并主动与客户沟通。

译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《谷歌站点可靠性工作手册》第13章《第13章 数据处理管道》13 减少热点和工作负荷模式;实施自动缩放和资源规划;遵守访问控制和安全策略;计划升级路径(源文件:extracted/谷歌站点可靠性工作手册/_epub-src/OEBPS/Text/19.html,来源项目 book-sources) - 结论依据:第13章说明管道热点的常见形式与应对(细粒度阻止、动态再平衡、紧急跳过开关、重组数据、降低锁粒度),自动扩缩与资源规划时应考虑存储与带宽成本并按阶段度量效率,遵循PII加密、最小权限与TTL等安全原则,并要求管道弹性到故障不触发SLO呼叫。 - 原始内容:尽管应根据其端到端SLO衡量一系列管道阶段的有效性,但应在每个单独阶段对管道效率和资源使用情况进行度量。