在信息爆炸之前,信息存储往往都是单独的。这与今天的要求和挑战格格不入了。商业用户能自由调配资源按需访问其它节点和存储系统,可以理解为之前是一个人单干,现在联合了起来,而实际内容不变,但更自由,也更效率。39472
大数据时代来临,数据的产生速度如同火箭一般,传统的信息存储技术毫无准备。因为传统的数据仓库技术几乎都采用了价格高昂的小型机和磁盘阵列来提供和增加性能。然而,在巨额数据面前,使用小型机加磁盘阵列的模式,在伸缩性上就遇到了瓶颈。传统的数据仓库技术并不支持跨服务器的分布式存储和并行计算,简单的增加小型机的数量并不能解决其性能的问题。论文网
当今社会需要新的集数据采集、存储、分析的综合解决方案,而且需要应对数量巨大、无比复杂的新要求,这一切都需要新的技术出现。特殊的的分布式并行处理架构可以对这些大型数据集进行分析,而不同的改进方案可达到实时和批处理的要求。而NoSQL,可以实现根据索引的高性能检索。对于MapReduce技术可以根据特定的数据寻找方案来执行数据筛选,筛选好之后分析就变得容易很多。
新技术的来临带来的是自由的、人性化的、更科学的处理方案。大数据和云计算的互相影响会是明显的趋势,没有云平台和云计算很多大数据就无从谈起,没有大数据很多云计算就没有价值可以谈。
提到云计算不得不提到Google。2006年8月,Google首席执行官埃里克•施密特(Eric Schmidt)在搜索引擎大会(SES San Jose 2006)首次提出“云计算”(Cloud Computing)的概念,作为提出者和首位开发者,其搜索业务就部署于几百万个子节点上,而且还在不断增加。但Google并没有公布技术细节与核心,于是Hadoop这样一个开源框架被催生出现,反而立马作为最火热的大数据框架迅速流行开了。将传统的数据挖掘算法移植到Hadoop平台下,便可进行大规模数据的挖掘任务,故具有极为重要的意义,各大公司的方案如图。
各大公司云服务简介
最近几年,我国参与相关研究的商业公司也变得多了起来。当时百度每周都有200TB的处理量,还赞助了HyperTable的开发;淘宝目标则是电商业务,中移动造出了“大云”平台。
同时,Hadoop的浪潮也越来越大,美国很多名校都设置了相关实验室和小型数据中心,尝试进行技术突破。我国很多重点大学起步比较晚,不过近些年也都开始了研究。
让人兴奋的是,就在不久前结束的2015双十一购物狂欢节,淘宝网交易创建峰值达到每秒钟14万笔,支付宝的支付峰值达到每秒钟8.59万笔。然而,在巨大的消费数字背后,阿里云平台为其提供了巨大的支撑力量,可见我国云平台技术已经走在世界前列,这不仅是阿里巴巴的骄傲,也是中国互联网的骄傲!
- 上一篇:日志挖掘国内外研究现状
- 下一篇:共同沟设计研究现状综述
-
-
-
-
-
-
-
河岸冲刷和泥沙淤积的监测国内外研究现状
java+mysql车辆管理系统的设计+源代码
乳业同业并购式全产业链...
电站锅炉暖风器设计任务书
十二层带中心支撑钢结构...
中考体育项目与体育教学合理结合的研究
大众媒体对公共政策制定的影响
酸性水汽提装置总汽提塔设计+CAD图纸
当代大学生慈善意识研究+文献综述
杂拟谷盗体内共生菌沃尔...