可以像使用“数据库”一样使用“大数据”,揭秘华为计算战略的黄金十年

近日,华为在深圳举办2019全球数据基础设施论坛,宣布全面启动数据基础设施战略,并开源数据虚拟化引擎HetuEngine(河图引擎),将在2020年6月上线。

投稿来源:启盈门  作者:毛启盈

近日,华为在深圳举办2019全球数据基础设施论坛,宣布全面启动数据基础设施战略,并开源数据虚拟化引擎HetuEngine(河图引擎),将在2020年6月上线。

这是华为计算战略的一部分,是华为从数据角度对计算战略再度阐述,早在9月19日,华为全联接大会2019上,华为基于“鲲鹏+昇腾”双引擎全面启航计算战略,并宣布了“一云两翼双引擎”的计算产业布局。

一年来,华为在计算战略方面动作频繁,并且提出了让生态链条上的合作伙伴们,可以像使用“数据库”一样使用“大数据”,让数据治理、使用更简单。

华为计算战略是到底有多强大?河图引擎对华为计算战略有何种意义呢?

“河图引擎”出炉背景

这里先列举三个应用场景:

1、当你打开一个App,就会收到你感兴趣的内容推送。精准推送的背后,其就是数据在驱动。比如快手,每天生成1.2亿个内容标签与用户画像实时匹配,数据运营实现内容精准推送。

2、以大港油田为例,在经历了50年持续开采后,面临资源枯竭、产量下降的挑战。2019年以来大港油田采用华为大数据和AI技术,利用测井曲线,结合经验模型生成每口井的孔隙度、渗透率,找到了更多新的油气层。通过数据运营,为长期稳产500万吨提供了决策支撑。

3、华为每年有近300万人次出差,以前出差涉及考勤、机票、酒店等十几个申请流程,现在只需要一个流程就可以真正实现“说走就走”。这是每天45万次后台数据关联的结果。数据运营,实现“让数据多跑路,员工少跑腿”。

这是华为Cloud & AI产品与服务总裁侯金龙分享的几个简单的场景应用,简单而不简约,实际上背后潜藏这很多鲜为人知的秘密。

华为推河图引擎背后,是大数据产业的催生。

“大数据”这个概念似乎说了好多年,实际上,随着IT业务类型日益增多,大量业务需要跨平台、跨数据源协同分析。这种场景下,最突出三个问题是:找数难、取数难、用数难。

随着5G、AI和云的普及,数据量正以惊人的速度增长:根据预测,全球数据量将从2018年33ZB快速增长到2025年的180ZB。但是,产生的数据中仅有不到2%被保存,而被保存的数据中仅有不到10%被应用。这些海量数据的增长背后需要海量存储和计算资源的支撑,数据增长是无限的,而存储资源却是有限的。

为了屏蔽数据类型差异、地域差异、语法差异,让数据治理简单,使用简单,华为推出“河图引擎”,将于2020年6月上线。

华为将数据虚拟化引擎命名为河图,源于典故“大禹得河图后始见清明”,传说中大禹通过河图掌握河流山川复杂的地形地貌,顺利完成治水大业,河图引擎就是要让数据治理简单,使用简单,更方便的挖掘数据价值。

用侯金龙的话说“希望对数据的采、存、算、管、用实施端到端的整合和优化,让数据在全生命周期内更好用,数据的每比特发挥价值最大,数据的每比特成本最优,让合作伙伴像使用‘数据库’一样使用‘大数据’。”

为实现这个追求,华为打造融合、智能、开放的数据基础设施,让数据系统从孤立走向融合,从复杂走向智能,从封闭走向开放。

通过“打破数据处理与数据存储的边界”,实现数据高效共享和分析,降本增效;通过“AI+存储+云”,实现数据全生命周期内智能管理和智能运营,让存储越用越快,价值越来越大;通过“数据虚拟化引擎”,统一SQL语法,像使用数据库一样使用大数据。

“河图引擎”的自信来自哪里?

可以看出,未来迎接智能时代的到来,华为计算产业战略通过软硬件融合,打破“存储内部系统墙”、“数据库与存储链路墙”、“大数据与存储配置墙”、“数据库与大数据协同墙”四堵墙,让数据系统从孤立走向融合,从复杂走向智能,从封闭走向开放。

华为在大数据运营方面所以能够做到这一点,而BAT却无法进行复制,是因为来自华为的计算产业战略,此前华为披露,将打造“一云两翼双引擎”的产业布局,构筑开放的产业生态(如上图)

一云指华为云,通过全栈创新,提供安全可靠的混合云,成为生态伙伴的黑土地,为世界提供普惠算力。

双引擎指围绕“鲲鹏”与“昇腾”打造的两个基础芯片族,构筑异构的计算架构。

两翼指智能计算业务以及智能数据与存储业务。在智能计算领域,面向端、边、云,提供“鲲鹏+昇腾+x86+GPU”的多样性算力。在智能数据与存储领域,融合了存储、大数据、数据库、AI,围绕数据的全生命周期,让数据的每比特成本最优、让数据的每比特价值最大。

开放的生态指通过硬件开放和软件开源,使能广大合作伙伴,形成一个开放的产业生态。

第一、有“芯”才有力。我们知道,处理器是整个计算产业的基础,有“芯”才有力。

华为从2004年开始投资研发第一颗嵌入式处理芯片,历经15年,目前投入超过2万名工程师,形成了以‘鲲鹏+昇腾’为核心的基础芯片族。

鲲鹏包括服务器和PC机芯片,鲲鹏920是业界首颗64核的数据中心处理器,性能比业界主流处理器高25%,昇腾包括训练和推理芯片,是业界的2倍。

存储控制器芯片,通过独特的磨损均衡算法,把SSD盘的寿命提高20%。

智能网卡芯片,支持多协议卸载,特别适合云化和低时延场景。智能管理芯片,实现智能的功耗和故障管理,这是大型数据中心自动化管理的基础。

我们知道,过去存储系统主要依靠人来完成设备配置和运维,运维人员经验和能力的高低决定了管理效率的优劣。今天,华为基于AI芯片、存储和华为云的三层架构,通过云上训练和云下推理,让系统越用越快、越用越省。

第二、让世界有多种选择。华为“鲲鹏+昇腾”处理器的问世,让产业界在多样化计算时代多了更多的选择。用侯金龙的话说“计算产业像一棵树,鲲鹏和昇腾就是树根,根深才能叶茂,我们将持续投入鲲鹏和昇腾的研发,与产业链上的伙伴们一起努力,让计算产业枝繁叶茂,共享数字世界的红利。”

第三、俗话说,心有多大舞台就有多大。华为硬件开发和软件开源,这是开发者和合作伙伴更容易进入这个生态圈的前提。华为宣布对河图引擎进行开源,开发者可以基于开源代码进行定制、优化,实现更快、更好的业务系统对接。华为在计算产业的追求是为世界提供最强算力,让云无处不在,让智能无所不及。

软件开源层面,华为将开源服务器操作系统、开源数据库、开源AI计算框架,使能伙伴发展自己品牌的产品,并为开发者提供覆盖端、边、云的全场景开发框架。

在今天全球IT产业的激烈竞争中,技术密集、壁垒森严的国际市场中,华为此举一定会赢得更多合作伙伴的参与,这将成为华为河图引擎成功普及的成功策略。

据预测,未来五年,全球计算产业总体规模将达到2万亿美元;而未来十年,将成为计算产业新的黄金十年。可以说,华为计算战略是高瞻远瞩,放眼全世界,瞄准未来黄金10年。

 

声明:本文内容仅代表该投稿文章作者观点,不代表千寻专栏立场。转载请注明投稿人姓名并附上本文出处(千寻专栏)。 未按照规范转载者,千寻专栏保留追究相应责任的权利