知识卡片
教育科研HPDA存储
高校科研(气象、基因、高能物理等)数据步入10 PB时代、年增27.2%,且负载混合(GB大文件与KB小文件、随机与顺序I/O、文件/大数据/对象多协议)。HPDA(高性能数据分析)把HPC与数据分析结合,以分布式并行文件存储为核心,联合计算、网络、调度软件调优。其优势:高密机柜交付满足百PB增长;并行客户端突破单NFS客户端瓶颈,同时承载高带宽与高IOPS混合负载;一份数据一种协议写入、多种协议读取,零迁移提升多应用协同效率。用途是支撑多学科交叉分析。边界是:并行文件系统对运维与网络要求高,小集群收益有限;反例是用传统单流NFS承载MPI-I/O类并行负载,成性能瓶颈。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 存储解决方案 13.5.2 教育科研高性能计算和数据分析 · 查看原书依据
目前业界的教育科研HPDA解决方案,以分布式并行文件存储为核心,并和计算、网络、调度软件等周边资源联合调优,形成的高性能数据分析存储场景化方案。
参考来源
- 位置:《数据存储架构与技术(第2版)》第13章《13.5.2 教育科研高性能计算和数据分析》(源文件:extracted/数据存储架构与技术(第2版)/_epub-src/converter-master/example/312279/255.html)
- 结论依据:原文说明教育科研HPDA方案以分布式并行文件存储为核心并联合周边资源调优,列举高密硬件、并行客户端突破单NFS瓶颈、多协议互通零迁移三项优点,支撑其适配混合负载的结论。
- 原始内容:目前业界的教育科研HPDA解决方案,以分布式并行文件存储为核心,并和计算、网络、调度软件等周边资源联合调优,形成的高性能数据分析存储场景化方案。