2013年4月18-20日,第四届中国数据库技术大会(DTCC 2013)在北京福朋喜来登酒店拉开序幕。在为期三天的会议中,大会将围绕大数据应用、数据架构、数据管理(数据治理)、传统数据库软件等技术领域展开深入探讨,并将邀请一批国内顶尖的技术专家来进行分享。本届大会将在保留数据库软件应用实践这一传统主题的基础上,向大数据、数据结构、数据治理与分析、商业智能等领域进行拓展,以满足于广大从业人士和行业用户的迫切需要。
自2010年以来,国内领先的IT专业网站IT168联合旗下ITPUB、ChinaUnix技术社区已经连续举办了三届数据库技术大会,每届大会超过千人规模,云集了国内技术水平最高的数据架构师、DBA、数据库开发工程师、研发总监、IT经理等,是目前国内最受欢迎的数据库技术盛会。
在4月19日(大会第二天)下午的主题演讲中,来自微软亚太研发集团云创新中心高级项目经理孙巍先生,为我们分享了关于《基于SQL Server的大数据解决方案设计及实现》的相关话题,其中主要提到了大数据到底意味着什么、是否真的需要大数据、以及关于大数据的一些事。
▲微软亚太研发集团云创新中心高级项目经理孙巍
真的需要大数据吗?
大数据是目前IT领域目前最热门的话题,但是我们真的需要大数据吗?每家企业都需要大数据战略吗?孙巍先生表示,大数据确实能给我们带来很多好处,我们所有人都需要,比如企业的品牌和产品的口碑如何?如何基于天气和交通流量的模式优化我的车队?如何更好地预测我的支出?
▲大数据到底意味着什么?
但是,大数据是一项系统工程,不能仅仅是购买或使用某个产品就可以解决问题,并且大数据需要很多很多资源和技术,所以,大数据离我们很远吗?
2类主流的NOSQL系统
键/值存储
• 例如:MongoDB, CouchBase, Cassandra, Windows Azure;
• 灵活的数据模型,例如JSON;
• 通过键的Hash支持集群;
• 基于键获取单一的记录。
▲管理大数据
Hadoop
• 为存储和处理海量数据而设计的可扩展容错框架;
• 典型的没有数据模型;
• 记录存储在分布式文件系统。
微软的Hadoop策略
谈到微软的Hadoop策略,孙巍先生主要提到了四点,包括构建微软自己的Hadoop分发版本,比如向Apache基金会提交变更、免费下载等;其次是为Windows和Azure而优化,包括AD与Systems Center的集成,以及Hadoop-as-a-service-on-Azure;专注于.NET开发者,表现为Visual Studio集成、支持C#;最后就是企业就绪的差异化,包括性能和可扩展、高可用、易于使用等等。
总结
针对本次演讲,孙巍先生做出了自己的总结,大数据这个话题不仅仅只是Hadoop,未来并不是一个某一个架构或方案能够一统天下的格局,需要对大数据有一个清晰的认识。并且,微软正在积极参与大数据的方案和设计。