close
当前位置: 物联网在线 > IT技术 > 商业智能 >

企业需要应对大数据的挑战

麦肯锡全球研究院(McKinsey Global Institute)2011年5月的一份报告估计,两年前的2009年美国经济中,几乎每个行业里有超过1000名员工的每家公司数据存储至少平均在200TB,那已经是1999年沃尔玛的数据仓库的两倍规模。数据量从GB到TB是如此之快,而且他们只会继续增加。

如此大量的数据曾经大多是由于人为的互动:文本、在线零售采购、股票交易等等结果所产生。但是在新的数据时代,越来越多的数据是机器自动产生的。正是这些机器自动产生的数据,从呼叫细节记录(CDRs)和自动股票交易到智能电表传感器、监控设备、试验和测量装置,才有望成为未来大量的数据增长。

业务准备好管理大数据的管理和处理了吗,更不用说保持法规所要作的?

多大才算大?让我们来看看:1EB(exabyte)是1000PB字节,或1000000TB的数据。到目前为止,大多数企业数据的讨论在TB以内,但不会太长久。最近的一份来自思科的报告称全球移动数据的流量在2010年到2015年之间会增加26倍。仅移动数据量一项的预计就会在2015年每月超过6EB(exabyte)。到那时,查询将在PB规模,万亿的记录数据集上运行,需要更大的规模来处理机器产生的数据的新容量。

这意味着,三年内讨论将围绕着EB(exabytes)的数据进行 ― TB被PB所替代,然后再到EB(exabytes)字节只需短短的三年。Oracle把它们最新的数据仓库设备命名为Exadata是有理由的 !

世界上移动设备的激增,以及法规上对CDRs和无线接入协议(WAP)记录的存储和维护需要,把电信行业置于大数据潮流的风口浪尖上。

而当数据大量增加时,商业和法律条规加紧了对移动数据的保留。例如在美国,移动数据必须保存两年或三年,而在世界的其他地方,数据必须保留七年(中东),10年(印度)或更长时间(日本)。

但并不只有通信领域是这样的。大数据的保留和管理的要求在其它如公用事业的智能电表,和有网络日志的网络安全这样的领域涌现,它们都有一种共同的思路:在一种高度管制下的行业中由机器产生的大量的大数据。

刊登在2011年5月26日的《经济学家》杂志上的一篇题为“用大数据的建构”的文章说:
去年人们储存了足够的数据可来填充60000家国会图书馆。全世界有40亿手机用户(其中12%的人拥有智能手机)已经将他们自己变成了数据流。YouTube每分钟收到24小时的录像。制造商在他们的产品中嵌入3千万个传感器,在互联网这样的东西上将无声的金属片转换成数据生成的节点。智能手机的数量以每年20%的速度增长,而传感器数量的增长率为30%。

以如此庞大的量和速度进入了大数据时代已经成为IT与业务上的挑战。对于那些没有适当的策略和基础设施的企业,它可能是非常昂贵和危险的。

然而,大数据也是大机遇

不管是受法规还是竞争原因的驱动,大数据是大业务,这点可以从分析市场内的收购合并活动量就可以看出。EMC对Greenplum的收购,IBM对Netezza的收购,惠普对Vertica的收购。 虽然这些和其它解决方案,相对于传统的联机事务处理(OLTP),关系型数据库管理系统(RDBMS)和数据仓库系统,已成功为企业降低了复杂的深度分析的成本, 但他们对大量数据的长期保存成本上并不是最佳的。对不断增长的数据库的存储、硬件和管理成本的密切关注是一个非常现实的问题。

让我们检查一下保留大量的机器生成的数据的经济情况。硬件和软件投资的资本支出(CAPEX) 需要开始消化,而每个人最终也是最初关注的是数据查询。这个问题很大程度上已经被许多关系型数据库管理系统(RDBMS)和数据仓库解决方案和设备解决,它们通常以每TB的存储进行测量和定价。

但是持续经营性支出(OPEX)推动了整体成本以维持任何正在实施的系统。组成总资本支出(CAPEX)和持续经营性支出(OPEX)的维度方程包括,支持加载吞吐量和数据查询的服务器,必要的物理存储数据和存储种类。压缩、存储和检索如此大量数据的效率最后决定该方程 ― 从减少所需的空间,(人)的管理和技能,到所需硬件和存储的种类。

减少大数据的问题

以更全面的方式解决大数据问题的业务不仅是检验分析需求,还有整体数据的保留成本,这些成本可以TB(terabytes)来测量,但也可能是PB(petabytes),很快EB(exabytes)作为字节容量也会迅速增加。新的管理类型上的经济正在发生改变,而规定只会变得更严格。


you might also like

  • 创业公司做数据分析(六)数据仓库的建设
  • Socionext 的新款嵌入式芯片采用 Imagination 的 PowerVR Series8XE GPU
  • Imagination推出的新款SC1810系统单芯片(SoC)采用PowerVR Series8XE GPU
  • Socionext 的新款嵌入式芯片采用 Imagination 的 PowerVR Series8XE GPU
  • 云计算广受CIO欢迎已成大势所趋
  • CIO的四项修炼:2011全球CIO调研
  • 《IBM新型企业数据中心构想对CIO的意义》
  • 大数据如何改变世界
  • Gartner:未来三年中国企业IT的三大增长点
  • Pivotal开源Greenplum数据仓库软件

  • (责任编辑:ioter)