基于hadoop的海量文本分类算法研究(6)

菜单

应用服务器tomcat Tomcat7.0

表3.1列出了hadoop集群中应用到的软件版本信息，这些软件也不能一股脑的分配在同一个机器上，所以需要对各个节点进行分配服务，合理的分配也是集群性能调优的一种方式。表2.2是本文测试环境中对于5台节点的角色分配，及各个节点的硬件配置信息。

表2.2 开发环境的硬件配置信息表

服务器名称及IP 软件配置运行的服务硬件配置

Namenode01

192.168.109.141 Jdk1.7

hadoop-2.5.0-cdh5.3.6 NameNode、 ResourceManager DFS-ZKFailoverController

Intel(R)Core(TM) i5 CPU,、4G内存，1T硬盘

Namenode02

192.168.109.142 Jdk1.7

hadoop-2.5.0-cdh5.3.6 NameNode、 ResourceManager DFS-ZKFailoverController(zkfc)、 Intel(R)Core(TM) i5

CPU,、4G内存，1T硬盘

Datanode01

192.168.109.143 Jdk1.7

hadoop-2.5.0-cdh5.3.6

zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain、 Intel(R)Core(TM)i5 CPU,、4G内存，1T 硬盘

Datanode02

192.168.109.144 Jdk1.7

hadoop-2.5.0-cdh5.3.6zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain Intel(R)Core(TM)i5 CPU,、4G内存，1T 硬盘

Datanode03

192.168.109.145 Jdk1.7

hadoop-2.5.0-cdh5.3.6

zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain Intel(R)Core(TM)i5 CPU,、4G内存，1T 硬盘

hadoop2.4.1以后对于hadoop的集群安全性能提高很大，主要是引进了HDFS-HA高可靠性和YARN-HA高可靠性，分别能够对NameNode和ResourceManager进行实时备份。所以本文的hadoop2.5.0可以设置2个或2个以上的主节点，本文基于稳定性和容错性的考虑设置了Namenode01和Namenode02为两个主节点，启动的时候自动选择一个作为active主节点，另外一个作为standby备用节点；安装Hbase时候也考虑到安全性问题，选择Namenode01和Namenode02两个主节点作为HMaster，可以在开启了一个HMaster的时候，同时开启一个HMaster作为备用，所以active主节点和standby备用主节点都是由zookeeper监控，并在active主节点出现问题的时候无缝切换到standby节点。Datanode01~03作为hadoop的3个子节点，完成HDFS分布式存储数据和job任务计算。表2.2中的第三列运行的服务分别对应于表2.3中的解释。