城市站点
> forrester分级怎么读(获得 2021 Forrester 全球云数仓卓越表现者的阿里云数据仓库)
详细内容

forrester分级怎么读(获得 2021 Forrester 全球云数仓卓越表现者的阿里云数据仓库)

时间:2022-08-26 03:30:30     人气:419     来源:www.zhongshaninfo.com     作者:爱发信息
概述:......
概述:

2021年3月25日,全球权威分析机构 Forrester 发布 《The Forrester Wave?: Cloud Data Warehouse, Q1 2021》研究报告,阿里云凭借产品现有能力、产品战略、市场表现三项优势,进入 Forrester Wave 2021 Q1 云数据仓

http://www.jsyunjun.com/file/upload/tt1999/999.jpg

库卓越表现者象限,成为入选此次评测的唯一中国厂商。


本次 Forrester 针对入选的 13 家国际最重要的云数据仓库服务商(见下表), 从产品、战略、和市场表现三个维度,26个指标 60 多项评估细则进行了研究、分析和评分。最终报告显示了每个提供商在每项的评比分数,帮助企业架构专业人员根据他们的需求选择正确的厂商。作为读者,也能从 Forrester 的这些评测项中理解、学习现代云数据仓库的定义、应具备能力以及未来的发展趋势。


下面我们就针对 Forrester 的报告内容,结合阿里云 MaxCompute、DataWorks、AnalyticDB 几款云数仓产品,对现代云数仓做一下全面的技术解读。

技术解读:

现代云数仓的内涵:Forrester 认为现在云数仓需要具备的几个特性:

  • 极致弹性:在分钟级别内提供任意规模,能够自动优化查询
  • 存算分离:按需独立扩展计算和存储等资源(存算分离)并能无感知自动升级。
  • 为了满足对更集中、实时和自助式分析日益增长的需求,云数仓供应商将继续专注于与数据湖和对象存储的原生集成。
  • 通过自助服务,简化大型复杂仓库的访问和管理。
  • 能提供并行处理、压缩、分区、索引、查询优化和动态资源供应方面的高级功能。
  • 最常见的云数仓应用场景包括客户360°分析、基于AI/机器学习 ML 的分析、垂直领域和实时分析的场景。

Forrester 评测领先项(得5分/满分5分)

给客户带来的价值

  1. 数据湖集成(Data Lake Integration)
  2. 数据类型(Data Types)
  3. 数据集成(Data Ingestion / Loading)

客户将数据湖(Hadoop、云对象存储 OSS)的灵活性、生态丰富与云数据仓库的企业级能力进行融合,可以通过 MaxCompute 湖仓一体方案,DataWorks 数据集成以及对丰富数据类型的支持,并通过 DataWorks 构建数据湖和数据仓库融合的数据开发、管理和数据治理平台。

  1. 性能(Performance Reference)
  2. 扩展性(Scalability Feature)

客户能享受以下 MaxCompute 的 Share Everything 的架构设计带来的如下好处:

  1. 开箱即用的服务:5 分钟开通云数仓服务并能执行第一条 SQL 任务
  2. 灵活的计费模式:支持开通后可以按照单条 SQL 计费的按量付费模式,不用资源不花钱,不怕开通了还继续收费
  3. 存算分离 + 无限扩展:可以分别对计算和存储进行扩缩容
  4. 更好的资源利用:多租户架构带来更好的资源利用,通过降低成本将技术红利分享给客户
  1. 数据安全(Data Security)

数据安全无疑是现在企业数据应用的重中之重。MaxCompute 支持多租户的使用场景,通过阿里云账号认证体系对于用户的每一个 HTTP 请求都会进行签名认证,针对不同的用户数据进行数据存储隔离,用户数据被离散存储在分布式文件系统中。可以同时满足多用户协同、数据共享、数据保密和安全的需要,做到真正的多租户资源隔离。同时在网络隔离,鉴权认证,数据安全,传输、存储加密,日志审计等。详情参见安全白皮书

  1. Support(售后服务)
  2. Subcription(订阅模式)

Forrester 从客户得到认证:证实阿里云拥有一个经过验证的全球技术服务和支持团队,可以满足当前和未来的增长需要,同时拥有最多的资源和专业知识来处理复杂的全球和本土云数仓的实施。客户对阿里云云数仓的技术支持非常满意。


同时,MaxCompute 提供 Pay-as-you-go 计费模式,只对资源(存储、服务器和服务)的使用收费。支持按存储、大小、查询和用户数量粒度定价。可以分别为计算和存储定价。Forrester 从客户侧证实阿里云有最好的计费模式和最好的性价比。

以下从技术角度阐述为什么阿里云数仓产品能够支撑上面的满分项:

1. 架构设计:

阿里云数据仓库 MaxCompute 从设计之初采用了“Share Everything”的架构设计。按 Forrester 的说法,这是一个具有前瞻性(future-proof) 的技术架构。它引领了云数仓架构的趋势,并提供了最佳的客户灵活性和开箱即用的解决方案。同时支持 SQL、机器学习深度学习、图计算等多种计算模式。

除了支持第一方的计算模式外,一个关键区别是 MaxCompute 有一个开放的设计,第三方引擎(如Spark,Presto)也可以接入。在 2019年-2021年,MaxCompute 发展出了湖仓一体的架构设计,通过湖仓一体 MaxCompute 无缝集成云对象存储和 Hadoop 生态。这些帮助我们在 Forrester 技术评比中,在性能、扩展性、数据湖集成 3 项取得最高分(5分),达到世界领先水平。

  • 在性能项的评比中,MaxCompute 支撑了相比其它厂商更高每天作业总数
  • 在扩展性的评比中,MaxCompute 提供最好的可伸缩性特性,包括:

a) 可以对于任意规模的计算或存储进行接近无限的扩展,且不需要中断或停机支持

b) 可以独立、自动地扩展存储和计算。可支持 EB 级别以上的数据规模。

  • 在数据湖集成项评比中:通过湖仓一体架构,无缝集成对象存储(OSS)湖,以及 Hadoop 生态,并通过 DataWorks 提供统一的数据开发、管理、治理平台。
2. 实时性:
  • 阿里云数仓通过 DataWorks 数据集成功能,支持三种实时数据集成方式:数据集成流式数据导入、对接 datachub、Kafka 等发布-订阅子系统、 CDC 方式导入。
  • 可以流式地将数据输入到 MaxCompute 或 AnalyticsDB 中进行查询。(或通过Flink 处理的实时 BI 场景)
  • 支持数据服务场景和在线机器学习(Alink,流式算法包以及深度学习框架 TensorFlow)
3.高性能存储
  • AliORC:MaxCompute 采用与开源 ORC 兼容的列式存储格式 AliORC,比开源 ORC 读性能快 50%,同时支持 MaxCompute、机器学习引擎 PAI等。 MaxCompute 团队也是开源 ORC 社区最大的贡献者
  • 自动存储分层,通过算法支撑的 4 级自动存储分级,提供更好的读写性能
4.企业级的安全性:

MaxCompute 和 DataWorks 数据安全卫士可以发现和识别敏感数据,并支持静态数据加密,支持tokenization,动态和静态数据 Masking;通过数据质量和 Logview 检查数据质量和漏洞评估,利用阿里云 ActionTrail 提供审计功能。同时数仓内部支持自主访问控制,强制访问控制 (labelSecurity),提供项目、表、行和列级的访问控制。在合规方面支持全球主流的安全标准:ISO 27001, SOC1/2/3, FIPS-140, GxP (21 CFR Part 11), PCI等。详细名单在在白皮书中均有描述。

http://www.jsyunjun.com/file/upload/tt1999/999.jpg

同时,MaxCompute 除了传统的通过认证和授权的方式共享数据外,我们还观察到了隐私保护的数据共享,甚至是在不受信任的群体之间共享的趋势。通常我们将这种共享需求称为“数据可用不可见”。现在阿里云也正在投资这个领域以及包括基于差分隐私的计算和联合计算在内的技术。

在本次 Forrester 技术评比中:云数仓 MaxCompute 和 DataWorks 的安全能力以及技术前瞻性,取得了最高分(5分),达到世界领先。

5.统一的数据开发、管理治理平台 DataWorks:

MaxCompute 有一个统一的数据部署、治理和管理平台 DataWorks。它支持不同工作负载的数据集成、元数据开发。我们的数据管理可以进一步编排不同的工作负载。例如,客户可以从数据集成、数据清理、特征工程、模型训练、模型服务等方面构建完整的大数据和 AI 通道。

关于云数仓的发展趋势:

随着 IoT 和 5G 技术的不断成熟,设备产生的数据将远超过与人相关的行为数据,同时越来越多的企业也将沉睡的数据湖中的数据唤醒,越来越多的角色也加入到数据分析、机器学习的领域中。这为云数据平台带来新的挑战,云数仓需要:

  1. 提高平台自服务能力,高度自动化的运维和管理,降低数据仓库、机器学习以及深度学习的使用门槛
  2. 支持多方数据共享的同时保护数据隐私,数据可用不可见
  3. 与数据湖的深度集成,统一的开发平台、数据资产管理
总结:

最后引用 Forrester 报告对阿里云数

http://www.jsyunjun.com/file/upload/tt1999/999.jpg

据仓库的总结:阿里云数仓服务提供广泛的基础设施、平台和分析服务,包括 MaxCompute、AnalyticDB 和 DataWorks 服务,以支持各种大规模数据仓库客户案例。虽然阿里云数据仓库服务大部分部署在中国,但 MaxCompute、AnalyticDB 和 DataWorks 在全球 16个国家和地区提供服务,客户涉及金融、互联网、生物医药、能源、交通和媒体行业。阿里云的 MaxCompute、AnalyticDB 和 DataWorks提供实时和 EB 级的能力,以支持任何数据仓库的需求。

最后是来自客户对阿里云数仓产品的评价:

阿里云数仓供多种计算模型、机器学习能力、服务区域、技术支持、商业价值、工具和高端可扩展性。让客户在最常用的场景包括 BI 加速、基于AI/ML 的分析、数据仓库现代化、数据科学以及实时和风险分析领域获得最佳的应用体验。

forrester

本文为阿里云原创内容,未经允许不得转载。

(声明: 网站所收集的部分公开资料来源于互联网,转载的目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。本站部分作品是由网友自主投稿和发布、编辑整理上传,对此类作品本站仅提供交流平台,不为其版权负责。如果您发现网站上有侵犯您的知识产权的作品,请与我们取得联系,我们会及时修改或删除。 )
  • 急性心衰诊断和评估要点

    ◆应根据基础心血管疾病、诱因、临床表

    http://www.jsyunjun.com/file/upload/tt1999/999.jpg

    现(病史、症状 和体征)以及各种检查(心电图、胸部x线检查、超声心动图 和BNP/NT-proBNP)作出急性心衰的诊断。并做临床评估 包括病情的分级、严重程度和预后。

    ◆常见的临床表现是急性左心衰竭所致的呼吸困难。系

    http://www.jsyunjun.com/file/upload/tt1999/999.jpg

    肺淤血所致。严重患者可出现急性肺水肿和心原性休克。

    ◆BNP/NT-proBNP作为心衰的生物学标志物。对急性 左心衰竭的诊断和鉴别诊断有肯定的价值,对患者的危险分 层和预后评估有一定的临床价值。

    ◆急性左心衰竭病情严重程度分级有不同的方法。

    Killip法适用

    http://www.jsyunjun.com/file/upload/tt1999/999.jpg

    于基础病因为急性心肌梗死的患者:Forrester 法多用于心脏监护室、重症监护室及有血流动力学监测条件 的场合;临床程度分级则可用于一般的门诊和住院患者。

    forrester

    ◆急性右心衰竭主要常见病因为右心室梗死和急性大 块肺栓塞。根据病史、临床表现如突发的呼吸困难、低血压、 颈静脉怒张等,结合心电图和超声心动图检查,可以作出 诊断。

  • 茕茕 发自 凹非寺
    量子位 报道 | 公众号 QbitAI

    科技巨头的「云」竞争,如今最核心拼的刀刃就是人工智能。

    无论是从不断扩大的云AI市场规模,还是从国内各大云厂商云+AI的标准配置上,都可见一斑。

    那么,问题来了,机器学习解决方案,到底应该如何评估?

    近日,国际权威研究机构Forrester就发布了一份相关报告,针对大家关心的“到底哪家强”的问题,瞄准中国市场的预测分析和机器学习解决方案主流厂商,进行了全方位的实力解析。

    Forrester Research是一家独立的技术和市场调研公司,其发布的主题报告在中国乃至全球范围内具有很高的市场认可度。


    具体而言,报告的调研对象涵盖华为云、阿里云百度云、腾讯云等等9家中国厂商。并从战略、产品和市场表现三个维度,将这些主流厂商分成了4个梯队:

    领导者(Leaders)、卓越表现者(Strong Performers)、竞争者(Contenders)、挑战者(Challengers)。

    还给出了详细的「挑选指南」。

    具体亮点,一起来看。

    如何评估机器学习厂商

    不少研究分析指出,当AI技术发展进入落地期,AI开始逐渐渗透到企业的核心业务当中,无论是互联网企业还是传统企业,拥抱AI成为了一种大趋势。这就进一步激发了企业上云的动力。


    在这份报告中,Forrester同样指出,在以人工智能为核心的「新基建」背景下,中国企业对于内部构建人工智能抱有极高的热情。

    本质上,人工智能依赖于机器学习模型。因此,各大云厂商提供的预测分析和机器学习(PAML)解决方案,就将在整个AI落地应用的过程中发挥重要的降本增效的作用。

    而围绕预测分析和机器学习(PAML)解决方案,最直接的产品形态,就是基于云的AI开发平台。

    国内的各大云厂商,就已纷纷发力:华为云的ModelArts、阿里云的PAI、百度云的EasyDL、腾讯云的TI-ONE

    http://www.jsyunjun.com/file/upload/tt1999/999.jpg

    ……

    那么,如此热烈的竞争之中,企业在选择解决方案时,究竟应该如何对其进行评估?

    Forrester给出了三点标准。

    其一:能简化模型开发,满足不同团队要求

    为了强化AI能力,企业需要把机器学习模型规模从几个增加到数千个。

    这也就意味着,云厂商提供的AI开发平台,其模型开发能力需要满足不同团队和人员的要求,不仅要覆盖对机器学习有深入了解的科学家、数据工程师、应用开发人员,也要赋能“零基础”的相关业务人员。


    基于此,解决方案团队应增强用户界面的可视化和使用体验,使用户能够顺畅构建模型开发流水线。

    除此之外,对于以代码为核心的数据科学团队来说,覆盖开发全生命周期的IDE(集成开发环境)是必要的。

    而缺乏深度机器学习知识的业务用户,则需要功能齐全的AutoML功能来提高机器学习生产力。

    其二:能快速、大规模部署机器学习模型

    构建模型代表着大规模AI应用的开始。

    为了实现商业利益,公司必须将模型部署到应用上,并加以监控和管理。

    其背后技术层面的挑战,对于从事数据科学、AI开发的工程师们来说,是不言自明的。而对于业务线领导者来说,也提出了新的管理挑战。


    http://www.jsyunjun.com/file/upload/tt1999/999.jpg

    因此,企业需要借助AI开发平台之力,组装从开发到生产系统的模型开发流程,监控机器学习模型的性能而不影响本身的业务,管理机器学习模型,实现跨AI智能团队的协作,并使用新数据重新训练在线机器学习模型,不断提升模型性能。

    其三:使用分布式、混合架构加速训练推理

    模型训练需要许多样本和参数,这会对普通计算基础设施造成很大负担。

    AI开发平台供应商应帮助企业有效地将训练任务下发到分布式架构,以减少开发人员等待时间。

    由于模型推理将直接影响用户体验,AI开发平台的客户们对于推理性能的要求极高。为了满足推理需求和隐私规范,供应商应支持混合模型部署架构,同时支持云上、数据中心、边缘的多种部署模式。


    简单总结一下,一个云AI开发平台,在提供从数据标注到模型部署全流程的AI应用开发服务的基础之上,还应当降低门槛,让开发者能低代码甚至0代码地管理AI项目。

    并且,由于云服务厂商有更丰富的场景积累、强大可持续的研发投入,其在AI技术的突破和创新上具有重要优势。这种技术经验应当能在AI开发平台中被规模化地复制,成为企业可以依仗的「巨人的肩膀」。

    如此,才能在企业数字化转型过程中、在行业AI落地过程中发挥最大能效,打出竞争力。

    具体到厂商的部分,在这份报告中,最吸引人眼球的,是华为云进入了「领导者」象限,并在战略维度领先。

    2018年以来,华为在AI领域可以说是动作不断,围绕“全栈全场景”,连续推出AI开发平台、AI芯片、AI计算框架……

    此次被权威机构认定为机器学习厂商第一梯队,实属意料之中。


    华为云凭什么进入「领导者」象限?

    核心武器是华为云推出的一站式AI开发平台ModelArts。

    Forrester给出的评语是:

    华为云提供全栈预测分析及机器学习服务,是企业在公有云、本地、边缘复杂部署场景下的理想选择。

    2018年以来,华为云积极升级预测分析和机器学习解决方案,不仅提供AI开发平台ModelArts用于机器学习模型训练和推理,同时集成了开源深度学习框架MindSpore,以及Ascend产品组合。


    ModelArts诞生于2018年,可以说是华为云AI开发平台集大成之作,能提供包括数据标注、模型训练、模型调优、模型部署等AI应用开发服务。

    并且方一亮相,就有不俗表现:诞生之初挑战斯坦福DAWNBenchmark。在图像识别(ResNet50-on-ImageNet,93%以上精度)的总训练时间上,以10分28秒的成绩,比第二名提速近44%,拿下当时的全球第一。

    三年来,ModelArts的能力一直在持续升级。

    到2020年,升级到3.0版本的ModelArts。在其EI-Backbone骨干模型、联邦学习、模型智能评估与诊断、高性能AI计算等最新的特性的加持下,ModelArts 3.0可以使标注成本、训练成本降低90%以上,并能在用户训练模型时,根据模型训练速度的要求,自适应匹配最佳资源数,大幅提升算力性价比。


    并且,面向AI行业落地,华为云长期以来在计算机视觉、语音语义和决策优化上积累的AI能力,包括自动机器学习、小样本学习、联邦学习、预训练模型等等,都可以部署到ModelArts上即插即用。

    还有更直接的数据,可以说明ModelArts的能力——

    ModelArts平台支持10万级别的企业任务同时运行,支持10万级别的用户规模同时使用。

    MLPerf benchmart上的测试结果显示,在512芯片的集群规模下,华为云ModelArts成绩为93.6秒,优于英伟达V100的120秒。

    「云」上时代,落地为王

    纸面上的数据只是一部分,华为云能获得认可,与其产品落地的能力息息相关。

    ModelArts的能力,就有不少实例体现:在能源、汽车、政务系统、教育、工业机器人等10余个行业中落地。

    出品「绝影」机器狗的杭州云深处科技有限公司,就应用华为ModelArts和Atlas 200DK,赋予四足机器狗实时感知环境、通过知识图谱交叉分析、强化学习动态决策的能力,实现了机器狗的工业场景巡检。



    forrester

    在脑科学研究方面,华为云ModelArts也有所作为:中科院脑智卓越中心通过完整解析斑马鱼的透明大脑来揭示大脑的工作原理,对接类脑智能。

    其中绘制全脑结构图谱涉及到神经元形态重构。在与华为云ModelArts的合作之下,AI自动重构的准确率和召回率已达95%。经理论推算,使用ModelArts的超大集群和大规模分布式训练,总重构时间可以从125人年缩短至10人天。


    产品、落地是最切实的指标

    这份报告的评价标准,或许也将引发新的思考:

    IDC最新发布的《中国人工智能云服务市场研究报告(2019)》显示,中国AI云服务市场2019年市场规模达1.66亿美元,2018至2024年CAGR(五年复合增长率)将达到93.6%,AI能力已成为用户进行云服务选型时的重要考量因素。

    也就是说,云+AI这样的大趋势下,AI能力如何,已经成为了云厂商新一阶段的核心竞争标准。

    但这种能力具体如何体现、如何衡量?

    还是要看产品在效能提升方面的战略规划,以及这些效能提升是否能在实际落地过程中显现出来。


    对于开发者、甚至普通的业务人员而言,全流程极简和自动化的AI开发模式,意味着更敏捷的开发、构建能力,更高的技术起点。

    站在整个行业的角度,AI、应用、数据三方面能在同一个平台上实现协同,这将使得行业知识模型、行业应用资产和数据资产模型进一步下沉。这对于行业AI落地、行业新价值的创造,无疑有着积极的意义。

    同时,平台化是推动企业数字化转型的大势所趋。

    在数字经济时代,算力是新生产力,数据是新生产资料,而5G、AI和云这样的前沿技术就是新的生产工具。在这种背景下,向华为云这样的AI平台靠拢、融合,更有利于企业落地数字化转型,在商业上取得成功。

    至于目标能否达到?落地案例就是答案。

    接下来机场的各种云厂商广告,或许都会变成落地案例说话的广告。

    你说呢?

    最后,对机器学习和ModelArts感兴趣的朋友,可以参与华为云官方出品的「AI全栈成长计划课程」,专为0基础AI经验的开发者量身打造的有系统理论有实践的AI课程,带你0基础入门构建 AI 实战技能体系。

    具体活动详情请点击:

    https://developer.huaweicloud.com/activity/full-stack/ai-developer.html

    — 完 —

    量子位 QbitAI · 头条号签约

    关注我们,第一时间获知前沿科技动态

  • 阅读全文
    分享