优惠提示:领取本站阿里云代金券1888元礼包,再通过阿里云购物车批量采购云产品可获得更多优惠!

阿里展示新一代计算平台,要把支撑双11的计算能力“让”给企业

阿里云资讯 81℃ 0评论

许多智能数据应用程序可供公众使用。

9月21日,云琪会议计算了情报专题。 Ali演示了新一代计算引擎和一站式智能云研发平台DataWorks。普通用户可以通过在云中编码数百行代码来构建自己的数据智能产品。

阿里巴巴集团副总裁周景仁在云栖会议上展示了新一代计算平台

新一代计算平台

每年有11人,人们最关心的是同时有多少人,阿里巴巴的数据大屏需要实时显示营业额等统计数据,而不是在大促后第二天发布数据。

以2017年双十一世为例,支付金额为1662亿元,最高支付额为256,000笔/秒,是上年的2.1倍。同时,数据库处理峰值也产生了4200万次/秒。在第7分钟和第23分钟,支付宝的支付罚款超过了1亿笔,相当于五年前(2012年)全天的双倍支付总额。

媒体直播处理的数据总量高达100亿,所有数据都需要实时准确地公开……这些都给数据的收集,存储和计算带来了巨大的挑战。

在之前的双11海量数据的大规模并行计算背后,MaxCompute,Blink(实时计算)和PAI(机器学习)是不可分割的。

MaxCompute是阿里巴巴独立开发的离线计算引擎,拥有多项国家专利技术。 Blink(实时计算)是阿里巴巴最重要的实时计算引擎,它提供流数据计算功能,可支持数百万吞吐量操作,计算最多秒延迟,关键指标超出开源引擎风暴性能6到8倍,计算成本远低于开源软件。

PAI是阿里巴巴机器学习平台,提供超大规模的分布式机器学习培训,在线和离线预测功能。

不仅在阿里巴巴,对大数据及时性的需求在各行各业都在增加。因此,阿里巴巴需要开发世界一流的计算引擎,集成大量的实时和离线数据,提供在线统计,数据处理和机器。学习,深度学习和在线/离线预测功能,支持他们自己的核心电子商务场景,通过阿里云提供外部中小企业的服务,以及集成实时和离线集成的输出计算功能。

通过一站式智能云研发平台DataWorks,离线计算,实时计算和机器学习功能无缝连接,形成新一代计算平台。

阿里巴巴高级技术专家,Digital Plus DataWorks领导徐伟在云栖大会上

基于新一代计算引擎的DataWorks具有五个要素:在海量数据规模下具有成本效益的离线和实时计算能力;实时+离线任务集成研发能力;实时+离线异构数据湖交互查询功能;学习,深入学习异构计算能力;一站式端到端云大数据智能研发能力。

阿里每日安排的任务数量高达一百万个级别

如果将阿里巴巴大数据计算引擎与PC的CPU,GPU,SSD和其他硬件设备进行比较,DataWorks就是这款大数据PC的Windows操作系统。

除了为用户提供基于云的开发平台,任务调度平台,运维管理平台,数据服务平台等产品导向服务外。它还封装了租户,帐户,计量,计费,调度,操作和维护,监控,安全和其他功能,允许用户通过零研发成本完成所有大数据开发流程的闭环体验。

特别是在大规模任务调度方面,DataWorks拥有多项国家专利技术,为依赖高并发任务调度的大规模复杂分支提供强大的稳定性保障(阿里经济中的日常平均调度任务)达到数百万)。

2009年,DataWorks项目启动,DataWorks已成为阿里集团数据开发的标准平台。组合的大数据计算引擎MaxCompute支持整个阿里经济的90%以上的数据量,超出了EB水平。支持所有业务部门的数据开发任务,如Ali Group,Ant King,Rookie,优酷和Gaode。

2013年,随着阿里云进入公共云市场,DataWorks产品已部署在全球16个国家和地区,包括新加坡,悉尼,香港,德国,马来西亚,日本,美国等国家和地区,成为国际着名的综合数据开发。平台品牌。

随着DataWorks在公共云和私有云中的输出,它赢得了国内外众多奖项。 2017年,基于DataWorks的阿里巴巴Cloud Plus荣获国际软博会金奖;在2018年,DataWorks被评为全国大数据博览会十大产品获得最佳案例实践奖。在Forrester宣布的第二季度云数据仓库中,2018年的国际权威评估机构阿里巴巴云和MaxCompute在全球排名第二。成就,与AWS,Microsoft Azure,Google Cloud一起进入第一阵营,是国内唯一的制造商,并建立了世界级大数据研发平台的地位。

结合阿里巴巴云计算机学习PAI平台

基于MaxCompute和Blink作为核心计算存储引擎,DataWorks不仅为用户提供结构化和非结构化数据的存储,交换和管理功能,还结合了阿里巴巴云机器学习PAI平台,为用户提供数据处理,功能工程,算法训练,离线算法评估,在线预测一套完整的机器学习解决方案。

阿里巴巴研究员兼机器学习平台负责人林伟在云栖会议上的发言

该平台提供数百种经典的机器学习算法和典型的数据处理功能,兼容所有主要的深度学习框架,并支持在线学习,深度学习,增强学习和迁移学习。

深度优化的机器学习引擎将是阿里巴巴集团针对超大规模稀疏模型的CPU系统级优化方案,针对大规模图像,语音和文本字段的GPU系统级优化方案,以及针对在线模型压缩等核心功能推理加速要求。它通过易于使用的应用程序平台为广泛的算法开发人员提供服务,大大增加了分布式模型培训的规模,并降低了建模和模型服务的成本。

在未来,DataWorks将与Ali Computing Engine Gemini合作解决Data Lakes查询,大数据交互查询和批量批量集成查询的问题。同时,与阿里机器学习平台PAI携手,添加智能元素并在云端提供。深度学习和模型算法迭代培训功能,从数据计算,模型培训,在线数据服务,到应用程序构建的一站式云大数据解决方案,以及基于云的编程环境Cloud IDW,提供从Sql开发的能力,Python,甚至Java,提供全套的云端开发解决方案。

许多智能数据应用程序可供公众使用,普通用户可通过在云中编码数百行代码来构建自己的数据智能产品。

转载请注明:阿里云优惠网 » 阿里展示新一代计算平台,要把支撑双11的计算能力“让”给企业

喜欢 (0)or分享 (0)

领取本站阿里云代金券1888元礼包后并购买阿里云产品您能得到哪些优惠?

1.使用阿里云代金券1888元礼包与阿里云官网首购3年五折优惠互不冲突

2.可获得本站专属返现20%+抽奖+专属客服【点击领取阿里云代金券1888元礼包>>

发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址