根据IDC的预测显示，在2006年全世界的数据存储量是18万PB，而如今这个数字已经达到了180万PB，而到了2015年会达到800万PB。同时相关分析公司的数据显示，到2015年大数据的产值将达到169亿美元。
我们看到大数据的大时代正在悄然到来。虽然数据分析一直以来都是IT产业的一部分，而且数据仓库、数据挖掘、商业智能等一直在不停的为企业的发展和创新提供价值，但随着数据的规模的指数级增长，以及数据生态系统各个环节技术模式、标准的变化，以大数据(big data)发展做为商业机会和广阔前景正在催生更大的市场和利润空间。
现在我们可以把它称为大数据，但从企业对数据利用的角度，你可以把它称为数据分析，亦或商业分析，数据挖掘。随你现在或未来怎么称呼。我们确实需要清楚一个以数据为生命周期的生态系统是怎样的。在IBM架构师Stephen Watt的《Deriving new business insights with Big Data》中介绍了数据产生、处理、价值体现的整个过程。这个生命周期过程由多个环节组成，数据的生成、数据的存储、数据的处理、分享、检索、分析和可视化等等。针对这些不同环节的商业需求正在催生新的技术模式和方法以实现新的商业模式。
数据存储方面，Amazon是先行者，它的S3云服务已经成为了云存储的业界标准。无论在用户使用、商业模式、所提供服务的便捷性和规模增长，Amazon都是这个领域的经典范例;还有围绕NoSQL的新技术和模式，10gen的MongoDB，DataStax的Hadoop构建方案Cassandra，NoSQL数据库技术提供商Couchbase等等。
数据处理方面，Hadoop无疑是首选。这一脱胎于Google MapReduce的大数据分布式处理架构是大数据生态系统的主角。而且许多的商业和产品的创新也围绕这个架构产生。如由雅虎分拆的HortonWorks，有Hadoop创始人Doug Cutting坐镇的Cloudera，提升Hadoop速度的MapR等。
同时针对数据分享、检索、分析和可视化等方面创新公司也有很多。我们看到围绕大数据生态系统的商业模式正在形成。同时这个生态系统在安全领域也引发了广泛的讨论，在安全领域的践行者们开始思考，企业将自身与安全相关的数据与企业的信息数据仓库结合能摩擦出怎样的火花？
于是在2012年的RSA大会上引爆了大数据分析是否能给安全带来突破的激烈讨论。有的分析机构和分析师认为大数据将催生新的安全算法市场，为安全分析提供新的可能性，而且SIEM安全工具必须要跟上这样的趋势;而有的则保持谨慎的态度，比如数据的统计分析根本不理解安全，这样的讨论才刚刚开始，面临的问题和障碍还有很多，这不过是一个营销的噱头。
这样的讨论是有价值的。是“临渊羡鱼，还是退而结网？”安全产业的答案是后者。这样的趋势吸引了众多的创新性安全公司趋之若鹜，同时也牵动着老牌安全厂商的神经。
在RSA 2012大会上，RSA总裁Tom Heiser告诉ZDNet，“企业面对高持续性安全威胁的情况下，安全投入会持续增加。同时安全技术市场也将发生变化，就是基于传统安全的防病毒、防火墙和IPS的技术和解决方案会向以大数据分析监控的技术方向转化。”正如上面讨论的观点之一，大数据正在为安全分析提供新的可能性，而且意味着安全信息与事件管理(SIEM)的工具必须要发生变化。
而且这样的变化已经开始了，比如RSA的威胁检测产品NetWitness和惠普的ArcSight SIM。当然也有很多的创新型安全公司正在通过新的安全方式找到安全与大数据分析(BDA)的平衡点，他们对大数据分析与安全结合呈乐观的态度，并且已经先行一步。
接下来就让我们看看围绕大数据生态系统的各个环节，安全领域有哪些创新者正在于大数据并行。在RSA 2012大会上看到了许多以大数据分析为驱动的安全公司，他们有的基于大数据分析的技术层面进行改变，有的基于大数据分析的应用层面，比如SIEM、APT检测、0day漏洞/恶意代码分析、网络异常流量检测、用户行为分析、网络取证分析和安全情报分析等应用方向。
NitroSecurity的架构结合NoSQL，推出集成了RMDB和NoSQL DB的混合型存储架构NitroEDB。NitroSecurity于2011年10月被迈克菲收入麾下。它的NitroView SIEM已经与迈克菲的ePO整合，以提升对风险和威胁进行评估的速度。
ZettaSet的核心是Hadoop，提出了Security DW(SDW数据仓库)。从网络防火墙、安全设备、网站流量、业务流程以及其他事务中挖掘安全信息，确定并阻止安全性威胁，为SIEM提供的安全实践服务。Zettaset的SDW产品于2011年黑帽大会上面世，目前免费。
还有很多基于Hadoop和NoSQL架构做SIEM的安全公司，这里不一一列举。接下来看看从应用层面的，上面提到的NetWitness就是一个，RSA在RSA 2012大会当天推出了NetWitness Live平台以扩大企业对抗APT威胁的可执行情报的优势，NetWitness于2011年4月被EMC收购，并与RSA的enVision管理平台整合。
Narus是提供实时动态网络分析产品的公司，于2011年12月被波音公司收购，NarusInsight可提升网管对网络中传输数据的洞察力，监测可疑网络恶意代码和操作，并发出警告。与Narus不同，Solera Network是一家提供硬件网络流量检测设备的公司，而且刚刚在年初获得了由英特尔主导的2000万美元融资，产品基于DeepSee平台对所有的网络流量进行索引及分类，为企业提供实时的网络安全监控。
用户行为分析方面，Silver Tail systems是一家主要从事WEB欺诈检测与防范系统开发的公司，创始人来自Paypal和eBay。
Palantir是一家网络取证分析的公司，目前该公司的融资已接近2亿美元，市值达到25亿美元。主要为政府和金融机构提供数据分析平台，该产品源自PayPal的反欺诈措施，该公司已经有8年的发展历程。
安全一直在寻找与最前沿技术趋势的契合点，不论是云计算还是大数据，安全也一直扮演着让技术趋势摆脱羁绊的救世主角色。当安全遇上大数据，一个全新的安全生态系统也似乎伴随着大数据生态系统的成熟逐渐在我们眼前清晰的展开，资本运作和创新的动力不断的驱动着安全向前迈进。
相关文章
