Teradata Universe:大数据分析是艺术和科学

Anonim
Das Bella Sky bei Kopenhagen, angeblich Europas größtes Designer-Hotel, bot den passenden Rahmen für die Anwenderkonferenz Teradata Universe, die dieses Jahr ganz im Zeichen von Big Data stand.
哥本哈根的Bella Sky,据说是欧洲最大的设计师酒店,为Teradata Universe用户大会提供了完美的环境,今年的用户大会都是关于大数据的。
照片:Comwell酒店

麻省理工学院数字业务中心主任埃里克·布林约尔夫森说,有人认为大数据是以前技术的自然演变。 其他人则将其视为“根本性的革命”。 Brynjolfsson很快意识到他本人倾向于从哪一点出发:无非就是克服现有的权力结构以及一种全新的工作和决定方式。 简而言之,大数据是管理革命。

麻省理工学院的教授向聚集在哥本哈根的数据仓库和分析专家Teradata的客户解释说,每一次科学革命都始于测量。 顺便说一下,Brynjolfsson说,他的名字已经过时了:如今,使用的是Peta甚至Exabytes(一个带有18个零的数字)的数据库。 而“ Zetabyte时代”即将到来。

Hadoop作为数据收集点

所有这些数据从何而来? 其中一些来自常规应用程序,例如ERP或CRM系统。 其他是从网上收集的; 例如,这些信息包括来自社交平台或Google查询的信息。 然后是大量通过智能手机通过GPS传输的位置和运动数据。 构成大数据的大部分都在机器对机器通信的广泛领域,例如传感器或RFID数据。

Erik Brynjolfsson, Director des MIT Center for Digital Business: „Daten liefern weitaus bessere Ergebnisse als das Hippo-Prinzip.“
麻省理工学院数字业务中心主任Erik Brynjolfsson:“数据比Hippo原理要好得多。”
照片:Teradata

至少在美国,此类数据通常存储在“ Hadoop”系统中。 这是一个开源项目,相对适合“转储”非结构化数据:它面向文件和批处理工作,因此具有很高的性能并允许快速访问,但是使用起来却很少,并且要求正如德国Teradata首席执行官Andreas Geissler所说,“一支专家大军”。

这就是为什么Hadoop与美国相比,在欧洲目前不在欧洲如此重要的原因之一。 对于那些想开始使用文件系统的人,Teradata最近推出了两个新工具。 他们将Hadoop与经典的面向SQL的Teradata仓库和大数据分析软件“ Aster”结合在一起。 在架构蓝图中,Teradata总结了“三个组件如何协同工作”或“ UDA”统一数据架构。

告别河马原则

到目前为止的技术。 但是,根据布林乔尔夫森的说法,更有趣的是,这项技术应该能够实现:告别“河马原理”。 在这种情况下,河马代表最高薪酬人士的意见,即组织中最高级别经理的直觉。 根据大学老师的观点,这仍然是许多公司战略决策的基础。

但是,Brynjolfsson在2009年与他的学生和管理顾问McKinsey&Co.一起发现了数据,结果要比“河马”好得多。 “数据驱动”公司的利润比竞争对手高大约6%,平均带来的市场价值比竞争对手高50%。

制造业领先

正如该研究还发现的那样,在使用数据作为决策基础时,IT和制造业处于领先地位。 金融和其他服务提供商将数据和经验结合在一起。 然而,贸易和公用事业在河马方面明显超重。

电力供应商为目标群体

数据分析专家Teradata最近与西门子公司的智能电网部门签署了合作伙伴协议:两家公司希望汇集自己的专业知识,并基于Teradata的“实用逻辑数据模型”,为大数据提供数据分析系统。市场工具。

  • Teradata International总裁Hermann Wimmer承认: “到目前为止,我们的公用事业业务相对较小 。” 放松管制,分拆和相当广泛的能源生产(此处的关键词是:太阳能电池和私有风力涡轮机)有助于划分数据流并使它们混乱。

  • Teradata尝试了三年来征服这个市场。 随着西门子智能电网客户的发展,机遇现在正在增加。

  • 大约一年半之前 ,西门子部门已经迈出了迈向数据分析的重要一步-通过收购加利福尼亚电表数据管理专家eMeter及其能源信息平台(EnergyIP)。

  • 但是,当前在媒体中比在实践中更频繁地出现智能计量 。 西门子智能电网部门首席执行官Jan Mrosik透露:“如今的配电网络非常愚蠢。”

  • 借助两班制解决方案 ,两家提供商希​​望立即对此进行更改。 该体系结构包含两个组件:

    -数据分析层(Teradata的数据仓库和大数据分析平台)

    -Teradata和Siemens希望共同开发的一组应用程序。

  • 尚未确定哪些应用程序将详细显示出来 。 “首先,我们要在提供产品之前说服客户。” Teradata公用事业业务负责人Emea的David Socha解释说。 然后,客户应表达他们真正的需求。

  • 无论如何,应在客户现场安装相应的解决方案。 索查(Socha)从长期的经验中知道:“公用事业行业是保守的:这些公司尚未准备好将这些数据委托给服务提供商。”

关联不是因果关系

但是,仅数据收集对公司没有帮助。 布林乔尔夫森警告说:“当心偏见,数据不是知识,而且关联不等于因果关系。” 用简单的英语来说:如果问题有误或忽略了条件,结果将毫无用处。

例如,麻省理工学院的教授列举了阅读能力和鞋子尺码之间的联系,这可以根据学生的统计分析来确定。 不幸的是,他什么也没说,因为年龄较大的学生平均可以阅读得更好-并且随着身材的增加,他们的脚也会变大。

肠胃感觉也有必要

Stephen Brobst, CTO bei Teradata: „Als Industry Consultants brauchen wir auch Leute mit verrückten Ideen.“
Teradata首席技术官Stephen Brobst:“作为行业顾问,我们还需要有疯狂想法的人。”
照片:Teradata

为了避免此类陷阱,需要数据科学家。 在劳动力市场中,劳动力市场仍然很少。 提供者和顾问可以做些什么来弥补这一缺点? Teradata首席技术官Stephen Brobst说:“在我们大约5000名顾问中,不仅是那些了解管道工并帮助建立基础架构的人。” 公司自己的顾问中大约有三分之一是“行业顾问”。 它们可以帮助用户找到正确的数据和问题。 这还需要一种直觉:“您需要科学和艺术,这就是为什么我们正在寻找可以发展疯狂想法的人。” (MHR)