存储系统组

存储系统课题组包括分布式存储与操作系统两个研究方向。

分布式存储方向

面对日益增长的海量数据,如何从软件层面管理和利用分布式的硬件资源提供存储服务是我们要解决的主要问题。机群文件系统是分布式存储的重要基础软件,也是云计算的重要组成部分。利用机群文件系统提供海量存储服务是目前大多数存储服务提供商的选择。我们基于机群文件系统这一存储平台主要研究的问题有如下几个方面:

1,元数据管理

面对海量元数据尤其是超大目录,提供可扩展的分布式元数据管理服务,需要研究支持可扩展的、动态的分布式索引结构。考虑到EB级数据存储规模,未来元数据管理应支持万亿至千万亿级别元数据。并能支持动态数据迁移和负载均衡。与此同时,数据的放置信息也需提供分布式、可扩展、无中心结构的查询及存储组织方法。

2,纠删码存储

提供高性价比的可靠性存储是支持海量数据存储的条件之一。相比较于复本的可靠性方式,纠删码存储能够在50%的存储开销下实现与三复本存储相同的可靠性保障。纠删码存储的主要问题是纠删码的数据编码、数据更新和数据恢复三个过程的开销较高。因此,我们的研究问题就是提高数据编码效率,减少数据更新过程的I/O操作,并降低数据恢复的开销。

3,数据去重与压缩

数据去重与压缩是进一步降低海量数据存储成本的利器,尤其是对于冷数据。我们需要研究面向通用数据的通用数据去重与压缩方法,比如分布式去重系统中的分布式数据路由问题和去重节点内的指纹值高效索引问题,也需要研究面向特殊数据比如生物基因数据的数据压缩方法,比如可参照压缩方法,针对FASTQ数据的复合式压缩方法。未来还需针对不同科学大数据进行有针对性的去重压缩研究。


操作系统方向

立足传统高性能通信方向的积累,面向艾级高性能计算与大规模数据处理,开展“COMM+”、“HPC+”的研究,向下基于现代可定制、异构加速的硬件平台,向上结合HPCBigData融合型应用特征,提供协同设计的高性能、高通量的系统软件与中间件支持,具体来说:

 1,控制平面

开展基于硬件虚拟化机制与高性能RDMA通信的资源解聚(Resource Disaggregation)研究。为HPC提供大SMP、大内存支持,兼顾集群Scale-out的低成本与多处理器Scale-up的易编程,满足计算与通信模式不规则类型应用的需求;为BD提供细粒度的负载均衡与多副本高可用机制,均衡与副本均以vCPU与内存Page为单位,支持在线切换且避免了大规模的数据与磁盘映像传输。

2,数据平面

开展面向多核架构、外层缓存与集成I/O以及高性能I/O设备的数据通路优化研究。将MPI RDMA协议扩展至KVGraph等应用,数据通路延伸至用户级NVMe协议与受限运行时JVM,通过完全旁路内核与运行时以及网络与存储的协同调度,为I/O密集型应用提供低开销、性能可预测的数据通路。

3,加速平面

开展以加速器为中心的服务化操作系统研究。操作系统定位控制平面,CPU定位编排器,数据于加速器与I/O之间直通流动,计算流程的触发与推动由加速器发起,从而降低数据中转开销并提供简化的异构编程模型与运行时支持。向下基于统一I/O、融合网络等的新型体系结构,向上结合KVGraph等的应用特征,提供应用-结构协同设计的加速支持。