Openstack平台上Hadoop的部署与维护(2)

菜单

图2-1 Nova与其它组件关系图 5

图2-2 Neutron表结构关系图 7

图3-1 MapReduce工作机制图 9

图3-2 Zookeeper工作机制图 13

图4-1 core-site配置文件

图4-2 hdfs-site配置文件 16

图4-3 mapred-site配置文件 16

图4-4 Hadoop进程操作命令图 17

图4-5 hbase-site配置文件 18

表清单

表序号表名称页码

表2-1 Openstack各组件及版本号 4

表3-1 Hadoop模块关系表 9

1 绪论

随着上世纪中叶，世界进入信息时代，数据已经成为了整个社会越来越重要的生产要素，涉及所有行业所有领域，与每个人都息息相关。无可置疑的，大数据时代已经是一股不可逆的大流。随着信息技术的进一步发展，大数据时代还会远吗？

所谓大数据，不单单指数据量的日益庞大，也意着数据渗透面愈发广泛，数据种类愈发繁多。面对这样的趋势，如何处理数据，如何存储数据，如何从偌大的数据量中挖掘出有价值、有研究意义的信息，成为了大数据时代来临后，一个非常重要、也必须放在首位考虑的课题。

数据量愈发庞大，以往的物理存储策略开始应付不来，无脑地增加经济投入购置存储设备或许是一个解决方案，然而成次方上升的维护成本必定让每一个决策者头疼。成堆的数据积压在存储设备中，却不知道怎么利用，只是白白占用了地方，消耗了资源，也必定在每个决策者脑中打了许多问号。

俗话说，时势造英雄。同样的，时代也催生新技术。随着大数据时代一步一步临近，许多大数据问题解决方案和新兴技术应运而生。Openstack和Hadoop便是其中毋庸置疑的主力军之一。

1.1 Openstack发展现状

Openstack，原先是世界著名数据分析公司Rackspace和美国国家宇航局NASA,分别贡献出了自己的Rackspace云文件平台代码和NASA Nebula平台代码，合作发布的开源项目。主要致力于主机虚拟化和私有云的管理。在整个大数据环境中，充当一个平台提供者，或者说是一个必要的、科学合理高度可用的环境的提供者。

Openstack实际出现已经有一些时日，整个技术平台建立在成熟可靠的技术之上。在面世后，经过了数年的技术验证和重重考验，不断完善自身，同时也不断有技术成熟的大公司自发加入进来，帮助研究提升Openstack的各方面能力，时至今日，Openstack已然成为了一把磨得锋利的宝剑，被业界众多巨头肯定和采用，成为了大数据时代中一颗闪耀的星。

Openstack是一个庞大的项目，其下包含众多组件，如虚拟化技术Nova、数据存储方案Swift、意在提供直观界面的Horizon、还有与另一炙手可热技术Hadoop配合使用的Sahara等。如此多的组件组合到一起，互相配合，各司其职，使得整个Openstack平台得以有条不紊地运行，为用户提供便利的大数据处理平台。