简介
本项目通过对适用于大数据环境的海量高效存储技术、分布式存储编码技术、分布式计算及大数据存储与计算融合的一体化集群系统等关键技术的研究,取得了核心技术的突破,共申请了10项发明专利和1项实用新型专利,并获得2项软件著作权。在IEEE上发表了2篇学术论文。获得了良好的技术成果。创新性包括:1)提出并实现一种面向大数据的分布式存储系统,支持动态扩展及高可用,最大可支持2000个节点、十PB级的存储容量及百Gb/s级的数据读写聚合带宽。2)实现一种分布式并行计算框架,支持智能任务分解和调度,支持计算节点容错和负载均衡技术等。3)提出并实现存储与计算融合的一体化集群系统,让计算贴近数据,在多个数据集上并行运算并汇聚结果, 实现大数据分析的高效性、及时性。4)提出了多种编码技术用于保证数据的安全性和可靠性,在存储以及带宽开销方面均可达到最优。