| 首页 > 财经要闻 > 阿里云计算能力三大突破 流计算2.0每秒峰值达千万QPS

阿里云计算能力三大突破 流计算2.0每秒峰值达千万QPS

2017-10-13 11:45:37 来源: 编辑:

10月12日,阿里巴巴集团副总裁周靖人在云栖大会上发布了阿里云在大数据计算能力上的新突破:将BigBench数据规模扩展到100T;流计算2.0每秒峰值达千万QPS,整体链路延时亚秒级;E-MapReduce对比同类产品平均性能提升3倍。MaxCompute+PAI,全球首次将规模拓展到100TB,达到7000。

中国青年网杭州10月13日电,供开发者验证试用。

在规模上的优秀表现,得益于MaxCompute的海量数据处理能力和机器学习算法高效性,MaxCompute基于阿里云自主研发的分布式操作系统飞天,单集群服务器规模可以达到万台以上,数据规模达到EB级。

在性能上,MaxCompute新一代处理引擎从Compiler、Optimizer、Runtime等模块进行的持续深度优化。此外,MaxCompute与Intel开展深度合作,软硬结合深度优化。

英特尔数据中心事业部副总裁Robert Hays - ”我们非常高兴能够和阿里云共同在最新的英特尔? 至强? 可扩展处理器平台上,对MaxCompute进行深度优化,并见证阿里云MaxCompute在BigBench测试中表现出的优异成绩。“”

更快的流计算StreamCompute 2.0

在流计算方面,周靖人透露将于10月底在公共云发布新的版本。StreamCompute 2.0基于Apache Flink,并为开源社区提供了大量阿里内部的改进和优化。

新版流式计算2.0的特点包括:

1. 高吞吐低时延处理能力,单作业峰值达数千万的QPS,相比于StreamCompute 1.0有10+倍提升

2.SQL化的流式分析语言,由阿里巴巴计算事业部实时计算团队主导开发并回馈社区的BlinkSQL;BlinkSQL支持完备的流式处理语义,支持包括多种窗口、乱序容忍、完整DDL支持

3. 精准的数据处理语义,提供Exactly-once处理语义,同时为减少磁盘IO,提供增量CheckPoint,优化存储空间。

E-MapReduce性能3倍提升

E-MapReduce产品是阿里云上基于开源大数据的云服务产品,包括15+个开源组件的一站式大数据解决方案。周靖人现场发布了基于本地硬盘以及计算存储分离的大数据解决方案。

周靖人介绍,为了解决大数据处理以及机器学习的统一调度难题,E-MapReduce产品实现了CPU/GPU的混合调度方案,使得数据预处理以及数据训练可以在一个平台上解决。

E-MapReduce对于数据读写的性能至关重要,产品通过对于对象存储OSS的优化,使得读写OSS的性能是同类产品的3倍,对于计算和存储分离的大数据解决方案的产品化形式变得可以落地。

  • 宏观
  • 股市
  • 基金
  • 期货
  • 消费
  • 评论

网友评论 +更多

  • 登录名
  • 密码
  • 匿名发布
  •    
  • 验证码

网友评论仅供其表达个人看法,并不表明德州财经同意其观点或证实其描述。

免责声明:

1、凡本网注明来源的作品,均转载自其它媒体,转载目的在于传递更多的信息,并不代表本站赞同其观点和对其真实性负责。

2、如因作品内容、版权和其它问题需要同本站处理的,请在30日内联系本站。