大数据时代来了?也许还有人对此心存疑问,但是看看下面的数据就会对大数据时代有直观的认识:新浪微博有3亿用户,人人网用户接近两亿,这些用户每天都会产生大量的日志数据。而世界第一大社交网站Facebook每天要处理25亿条内容、逾500TB的数据。截至2011年末全球网络上有超过20亿人,全球有46亿台照相手机,企业每年会售出数亿台支持GPS的设备,现在RFID设备已经超过300亿个……这些都导致数据的爆炸式增长。国际数据公司的研究表明,数字领域存在着1.8万亿GB的数据,企业数据正在以55%的速度逐年增长。如今只需两天就能创造出自文明诞生以来到2003年所产生的数据的总量。
怎样应对?IT巨头们纷纷在大数据领域布局,以赢得未来的较量。
数据采集与统计:Intel、Oracle、EMC为代表
大数据的处理过程可分为数据采集,数据统计,以及数据挖掘三个环节。而所有这些都需要有芯片等硬件设备的支持。英特尔顺应大数据的趋势对其硬件进行优化,其x86架构硬件平台被广泛应用在惠普、甲骨文等大数据产品之中,为大数据的数据采集和统计提供硬件支撑。
Oracle在数据库产品上有深厚的积累,在数据采集上有非常大的优势。2012年1月份,Oracle宣布推出大数据机,采用OracleLinux操作系统,配备有OracleNoSQL数据库社区版本和OracleHotSpotJava虚拟机,是一套集成式系统,经过专门的优化以便将非结构化数据捕获、组织和加载到Oracle数据库中。
在收购Sun之后,Oracle一直在进行硬件与软件的整合,此次推出大数据机就是软硬件整合的案例。Oracle大数据机配备了OracleBigDataConnctors软件,在一定程度上能帮助企业用户对数据分析和处理的需求。不过Oracle的传统优势还在于大数据的采集和统计上,在数据处理领域面对IBM和惠普等公司的竞争,优势并不明显。
EMC则积极布局数据存储,在2010年以超过20亿美元收购横向扩展型NAS厂商Isilon Systems。EMC称,Isilon的横向扩展型NAS系统结合EMC Atmos平台,将为各种机器生成的信息提供低成本存储。2012年3月份,为了扩大自身数据存储和分析服务的规模,EMC又收购了私人控股的软件开发咨询公司Pivotal Labs。Pivotal是一家通过开发软件服务和工具来帮助企业建立网站和无线应用程序的公司。EMC称计划扩大Pivotal的规模,并使用Pivotal的技术来帮助客户开发能够处理大规模信息的应用程序。
数据分析与优化:IBM、惠普、SAP为代表
SAP依靠在软件领域的优势,发布了多款数据分析产品,聚焦在数据的分析能力上,力图为用户提供商业智能方面的服务。2012年8月份,SAP宣布推出商务智能创新产品SAP BusinessObjects BI 解决方案4.0版本的第三功能包(feature pack 3)(包括 SAP BusinessObjects BI软件 Edge版本)和SAP Visual Intelligence 软件1.0.1版本。在移动性、商业洞见、社会化和整合等多个方面对产品进行了改进。
基于SAP HANA,SAP还打造了实时数据平台,涵盖SAP Sybase IQ、SAP Sybase ESP、SAP Sybase ASE 和 SAP Enterprise Information Management的数据管理功能,能够为用户提供比较全面的数据分析和处理服务。同时SAP还与产业链合作伙伴合作打造大数据合作伙伴生态系统,将触角向更大的领域延伸。
IBM是数据分析领域的传统强者,2011年IBM正式推出InfoSphere大数据分析平台,IBM称之为“业界唯一的专门针对大数据分析的平台产品”。该平台包括 BigInsights和Streams两大产品,Biglnsights基于Hadoop,对大规模的静态数据进行分析,它提供多节点的分布式计算,可以随时增加节点,提升数据处理能力。Streams则采用内存计算方式分析实时数据。
2012年5月份,IBM正式发布了基于业务分析洞察(BAO)理论基础的IBM智慧的分析洞察(Smarter Analytics)战略,以帮助企业将“洞察力”转化为行动力。IBM全球企业咨询服务部业务分析与优化服务大中华区总经理段仰圣认为IBM可以从四个方面帮助企业建立洞察能力:第一是通过客户行为分析留住客户,并在此基础上实现客户群体的持续增长。第二是通过信息管理、业务分析、内容管理等先进手段,帮助企业优化IT水平及业务流程,提高运营效率。第三是通过将业务分析贯穿财务规划流程,洞悉企业利润和成本来源,改善结算流程的处理时间和完整性,促进财务流程转型。第四是将分析洞察包含在传统和新兴的风险类别中,预测未来的法规要求及检测欺诈,帮助企业管理风险、欺诈和合规性。
目前IBM的大数据产品已经被应用在传统制造业、电信业和金融业等各个行业之中,IBM软件集团大中华区业务分析洞察及智慧地球解决方案总经理卜晓军说:“IBM大数据‘全面’涵盖在IT层和业务层。在智慧分析洞察动态循环理论的基础上,通过整合IBM在软件、硬件、咨询服务、研发等各领域针对大数据最前沿资产和独有技术,紧密结合IBM深厚的市场经验和前瞻的创新理念,为大数据时代的行业客户未来驱动最大价值。”
惠普通过多项收购在大数据方面布局,2010年9月收购存储企业3PAR,2011年2月收购了分析及数据管理软件公司Vertica,同年8月惠普以100亿美元收购了英国第二大软件商Autonomy,该公司擅长基于语义计算的数据处理和数据挖掘,其软件被设计用来识别结构化数据和非结构化数据之间的关系。在所有的收购之后,惠普整合各类产品,推出了面向大数据应用的系列解决方案。
纵观各大厂商的大数据产品,不难发现一个趋势,即各大厂商均意图推出涵盖数据采集、统计和分析的综合性的大数据解决方案,这抓住了客户希望利用大数据改善商业结果的心理动机,但是同样也可能使市场的竞争更加激烈。与其在自己的优势之外谋求“领地”,倒不如专注一些,进一步强化在细分领域的优势地位。