先简单介绍一下大数据的背景,可能很多网友对于这个霸气十足的名词还不是很了解。或称巨量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷娶管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。 大数据的4V特点:Volume、Velocity、Variety、Veracity。 举个例子,我们每天都会使用的QQ,就具备了大数据的特征,数亿计的用户每天产生庞大的信息量。
日前,英特尔公司宣布推出IntelDistribution for Apache Hadoop软件,为了确保更多的企业和个人能够充分利用每天产生、收集和存储的海量数据,即“大数据”。这款基于英特尔芯片开发的软件产品包括了Intel Manager for Apache Hadoop软件,旨在提供业内领先的性能和安全特性。
拥有分析和利用大数据的能力,有助于支持和实现新的科学发现、商业模型和消费者体验,从而把握能够改变社会的无穷潜力。然而,目前只有少数人能够从这些大数据中获益,这是因为现有技术、方法和技能可支持的数据类型过于僵化或者它们的部署过于昂贵。
Hadoop是一个新出现的、用于在可扩展的服务器集群上存储和处理大量多元化数据的开源框架,是管理大数据的首选平台。随着越来越多的数据信息从以数十亿计的传感器和智能系统中不断产生,该框架必须保持开放和可扩展,并能同时满足企业级的性能、安全性和可管理性方面的苛刻要求。
英特尔公司英特尔架构事业部副总裁、数据中心软件部总经理Boyd Davis表示:“人类和机器都在不断生成大量具有价值的信息,从精准地预测恶劣天气,到研制出治疗绝症的独特疗法,这些信息能够在很多方面丰富我们的生活。英特尔公司致力于为开源社区贡献有助于利用所有可用计算力的强化功能,来为整个行业奠定更好的基础,帮助其突破创新瓶颈并把握住将大数据转化成有价值信息的机遇。”
性能和安全性:英特尔的独特之处
英特尔公司正交付一款在Apache Hadoop之上构建的创新开放平台,它能够与大数据分析的快速演进保持同步。Intel Distribution在英特尔 至强=处理器内置安全特性的支持下,率先提供了全加密功能,再结合Hadoop分布式文件系统基于芯片的加密支持,企业用户现在可以在不影响性能的前提下更为安全地分析数据集。
英特尔 至强处理器平台对网络和I/O技术所做的优化,也有助于实现更高的分析性能。以往分析1TB的数据需要4个多小时才能完全处理完毕,现在凭借英特尔硬件与Intel Distribution软件的强有力组合,仅需7分钟1即可完成。考虑到英特尔公司的估算——全球每11秒钟就会产生1PB的数据(1000TB,相当于时长约13年的高清视频),相信英特尔技术带来的强大能力将为世界带来更多可能。
例如,在医院环境中,从大数据中获得的信息能够帮助改进患者护理,因为它通过分析数百万的电子病历、公共卫生数据和理赔记录,能够帮助医疗工作者更快、更准确地做出诊断,确定药效、药物相互作用、药物的剂量建议及其潜在的副作用。同时,全球各地制定了严格的指导准则来保护健康信息和支付信息,在执行数据分析的同时也能确保安全和隐私。
Intel Manager for Apache Hadoop软件还简化了系统管理员部署新应用时对于集群的部署、配置和监控。采用Intel Active Tuner来优化Apache Hadoop*软件的性能时,可通过自动化的配置实现最充分的性能调优。而在此前,这类工作要求系统管理员必须了解每个应用对系统资源的使用情况以及Hadoop的配置和性能指标。
英特尔公司正携手战略合作伙伴将Intel Distribution集成到众多下一代平台和解决方案中,并支持在公有云和私有云环境中进行部署。Intel Distribution软件已获1degreenorth、AMAX、Cisco、Colfax Corporation、Cray、Datameer、Dell、En Pointe、Flytxt、Hadapt、HStreaming、Infosys、LucidWorks、MarkLogic、NextBio、Pentaho、Persistent_Systems、RainStor、Red Hat、Revolution Analytics、SAP、SAS、Savvis、a CenturyLink company、Silicon Mechanics、SoftNet Solutions、Super Micro Computer, Inc.、Tableau Software、Teradata、T-Systems、Wipro、Zettaset等公司的支持。
全面的大数据解决方案
Intel Distribution扩展了英特尔涵盖数据中心计算、网络、存储和智能系统产品的广泛产品组合。新推出的英特尔 智能系统框架由一组可互操作的解决方案组成,它们以统一和可扩展的方式在智能设备间提供连接性、可管理性和安全性,为从设备到数据中心的端到端分析的功能——收集、分析和交付有价值的信息奠定了基矗
此外,英特尔公司将继续投入研究和资金方面的支持,来推动大数据生态系统的发展。英特尔实验室一直处于高级分析研究的最前沿,Intel Graph Builder for Apache Hadoop软件就是其研究成果之一。该库可将大数据集构建到图表中,让数据之间的关系可视化。Intel Graph Builder针对Intel Distribution 软件进行了优化,因此用户无需再开发大量自定义代码,从而显著缩减了开发时间。同时,英特尔投资也一直投资于从事突破性大数据分析技术研发的公司,包括开发MongoDB的10gen和大数据分析解决方案提供商Guavus Analytics。