IBM软件集团大中华区业务分析洞察及智慧地球解决方案总经理卜晓军: 如何发现数据背后的真实性,并进行大数据管控与治理,这尤为重要.
年初,IBM软件集团就把大数据列为在未来几年最关注的业务之一。从年初提出大数据、3月份在美国纽约发布智慧的分析洞察、5月份在中国大数据平台的发布,到9月大数据平台的升级和更新——IBM的大数据战略全面升级。
IBM大数据平台的四大核心能力包括Hadoop系统、流计算(Stream Computing)、数据仓库(Data Warehouse)和信息整合与治理(Information Integration and Governance):
卜晓军说,大数据引起了新革命。过去两年里所产生的大量的数据占到人类所累积数据的90%。信息爆炸促使相应的IT处理能力及存储能力不断提升。如在电力行业,无论是读电表还是发电,由此产生的有效实时信息的数据巨大。而如何高速度处理分析流动的数据并及时做出决策,以及如何利用发掘由复杂文字、文体、图像及声音信息等组成的多样性数据,这正是大数据所产生的3个“V”的特性。
围绕3“V”,IBM提出了“数据真实性”的新“V”度。“如何发现数据背后的真实性,并进行大数据管控与治理,这尤为重要。这与从传统的数据仓库及数据信息解析进行管控和审计不同。” 卜晓军说说。
大数据不仅仅是一个技术和一个技术趋势,更重要的是以新的手段去解决不同行业用户的业务问题。如金融服务领域的实时反欺诈,360度的客户视图,从不同渠道获取更多客户信息,借社交媒体对客户行为进行分析;交通运输物流优化;医疗电子病历基于文本的分析;数码媒体、实时广告定位;零售行业及司法建设等等,在各个行业,大数据实际已在帮助用户运用新的手段更好处理他们的实际业务问题。
在电信领域,无论是针对客户的行为分析还是针对网络的分析和优化,在能源行业的电表分析以及在中国和欧洲的风力发电预测,这些应用大数据都能做到。
实际上,大数据只是客户整合平台的一部分。只有跟整个IT架构配合并实现应用才是真正的构建了大数据。与对过去做分析的BI不同的是,大数据要洞察未来。如何做到准确性?IBM将DB2与Cognos、BigInsights作了整合。数据仓库昂贵且无法放置需时时分析的非结构化数据。IBM的BigInsights解决非结构化数据挖掘。IBM把数据库管理也移植到大数据管理的平台,BigInsights不单是Hadoop平台,而是IBM数据管理的经验的加载。
“今天讲大数据的信息治理,企业在谈数据仓库和数据的生命周期管理以及数据管制,已放在前所未有的高度。无论是银监会、保监会的要求,或者企业自身要求,正是针对大数据新的技术应用而带来的迫切的需求。但是我们并不是抛弃传统的数据仓库,大数据平台是保护过去客户过去的投资。”卜晓军说。