曙光超融合架构助力大数据应用落地

avatar
作者
筋斗云
阅读量:0

【天极网服务器频道】曙光公司今年十月正式推出了曙光超融合架构。在2014中国大数据技术大会上,曙光公司全面展示了超融合架构在大数据应用方面的优势,曙光公司总裁助理兼存储产品事业部总经理惠润海及曙光公司研发中心大数据部高级工程师、经理宋怀明详细介绍了曙光超融合架构。

李国杰院士在2014中国大数据技术大会上进行主题演讲

曙光超融合构架主要是指同一个供应商通过依靠自身建立一套完整的基础架构并将云计算、大数据、HPC三类应用融合到一起。曙光公司总裁助理兼存储产品事业部总经理惠润海进一步解释称,曙光超融合计算架构把当下用户IT业务必需的三类应用融合起来,为用户业务自动分配IT资源,统一任务管理并分别部署到对应的资源池中。曙光超融合计算构架可以理解为云计算和大数据的一个延伸。

曙光公司存储产品事业部存储方案部经理刘冠川(左)与曙光公司研发中心大数据部高级工程师、经理宋怀明(右)

在2014中国大数据技术大会举行期间,曙光公司研发中心大数据部高级工程师、经理宋怀明和曙光公司存储产品事业部存储方案部经理刘冠川就曙光超融合架构接受了天极网记者的访谈。

宋怀明表示,云计算的深入发展让企业能够通过互联网方式获得服务并实现业务的高扩展性,高性能计算和云计算后面都是庞大的数据,企业实现业务的扩展有赖于大数据的挖掘与分析。曙光传统的高性能计算在国内连续多年市场占有率第一,而且曙光的云计算业务也开展较早,结合目前比较热的大数据技术,企业需要一种能够适应多种场景的融合超算、云计算、数据分析挖掘的业务模式整套解决方案,所以曙光超融合计算是应着用户的需求而产生的。

宋怀明强调,曙光超融合构架不用于曙光的大数据一体机,如果说大数据一体机是产品加产品方案,超融合计算其实是整个数据中心的解决方案。而且曙光的超融合整体方案本身是开放的,并不只局限于曙光的设备。目前在曙光的云计算中心,高性能计算和云计算基本上是并行提供服务,我们对外提供比较独立的访问接口。现在随着大数据和云计算的深入,曙光云计算中心可以实现云计算、大数据和HPC三种应用的融合。

曙光超融合构架并不是机械堆砌三种应用,而是根据用户需求进行动态调整。其实云计算是对外提供服务,大数据和高性能计算是作为整体云管理里面的一些数据处理和计算的资源,整体的部署都是通过云的方式部署和对外提供服务的,这对于用户来说这块儿是相对透明的。

大数据的发展大概分三个阶段,第一个阶段是解决数据落地的问题,其实就是主要是数据采集和存储,这一阶段存储厂商或者是存储设备厂商占主导。第二个阶段是计算落地,计算落地是提供计算模型、计算框架,包括Hadoop平台。第一个阶段如果是存储厂商,那么第二个阶段就是计算厂商或者平台厂商占主导。第三个阶段也是终极目标,应用的问题,真正把第一阶段我们采集到的数据通过第二阶段提供到这些计算的框架,实现数据价值。实际上第三阶段要求最高,曙光现在处于第二阶段向第三阶段过渡的时期,曙光计算平台也积累了很多数据,但是怎样在业务层面和用户需求层面实现它的价值也摸索过程当中。

目前超融合架构中曙光已经具备超算和云计算,超融合架构的主攻行业是政府和科研机构,因为政府有数据,另外政府确实也需要对数据进行整体的处理以支撑应用。科研机构包括中科院,以高性能计算为主,比如天气预报、大气治理由于数据量积累很多,用大数据方法做数据分析预判。这对政府和科研架构的系统规模非常大,需要在上面构建对外服务的云计算环境,后端是大数据和超算。

针对天极网记者提出的曙光上市之后大部分资金放在分布式云存储平台ParaStor的研发上的问题,刘冠川表示,曙光从高性能计算起家,做高性能计算当中我们积累了很多经验,包括技术积累,我们用原来的一些开源的方案很难满足现在需求。经过这么多年的发展,超算的数据量已经由PB级向EB级发展。EB级的系统,这是曙光以前没有做过的事情。

曙光ParaStor并行存储系统是一款针对海量数据存储应用而设计的大规模通用集群存储系统。曙光ParaStor并行存储系统通过网络技术将大量基本存储单元整合起来协同工作,对外提供统一数据存储服务。ParaStor针对云计算环境进行了性能优化,并采用了副本、集群等大量容错技术,各项技术性能指标可以达到主流中高端存储阵列水平。

曙光ParaStor并行存储系统方案主要基于高性能计算系统所采用的高速Infiniband网络,与曙光在Infiniband方面合作的是Mellanox Technologies公司,可将整个系统中的大量计算节点、IO节点、管理服务器、磁盘阵列连接起来,并通过存储管理软件和并行文件系统来实现对服务器和存储的访问保护进行管理控制,从而有效地提高了整个存储系统的性能和扩展性。

刘冠川强调,Parastor是曙光未来业务的增长点,业界也看好存储,而且存储业务利润非常高,趁着上市曙光用更多的资金做技术研发来满足更多的用户提出的新的需求。

针对超融合架构的合作伙伴问题,宋怀明和刘冠川一致表示,应用是大数据的核心,曙光做的是为大数据应用做存储和计算支撑,曙光在寻求更多针对行业应用的合作伙伴。大数据行业的蛋糕非常大,曙光希望能够为大数据生态圈贡献自己的力量,并且和合作伙伴实现共赢,让他们在帮助用户做更多创新的业务,实现更多的跨界。

2014中国大数据技术大会曙光超融合架构展台

编辑点评:通过访谈,我们可以看到曙光超融合构架希望打造由软件定义资源利用、软硬一体化趋近融合,将统一融合资源管理(网络、计算、存储)、统一融合服务管理(HPC、云计算、大数据)、统一融合数据管理(调度、编排、处理),并将横跨三大核心产品Gridview高性能计算操作系统、CloudView云计算操作系统、XData大数据一体机,最终实现软件定义一切的超融合计算。

目前曙光超融合架构已经在成都云计算中心有所实践,据悉该平台是曙光助力成都市政府打造的中国第一个按商业规律运营的云计算平台。成都云计算中心是国内第一个同时为电子政务应用和科学计算服务的云计算中心,更是国内第一个规模化实用化的云计算中心,目前结合大数据应用成功变身为国内首个超融合数据中心。

广告一刻

为您即时展示最新活动产品广告消息,让您随时掌握产品活动新动态!