毕业论文

打赏
当前位置: 毕业论文 > 计算机论文 >

hadoop多节点上的分布式安装方式

时间:2017-05-07 11:43来源:毕业论文
hadoop的安装方式分为单机的伪分布式安装和真正的分布式安装,本实验是在多节点上的分布式安装方式。让使用者学会安装和配置。能够熟练安装hadoop的用户可以跳过

hadoop大数据处理 以hadoop 1.0.3为核心构建整个环境先决条件:有可以接入互联网的电脑,安装Google Chrome以获得最佳使用体验。1.Linux环境熟悉
实验目的hadoop生产环境都是依赖于Linux环境,而部分学习人员只有Windows平台使用经验,为保证后续各环节的顺利执行,需要让使用者熟悉linux环境的主要操作命令,理解分布式并行计算的核心。熟悉vim编辑器的使用方式,能够通过它来创建修改文件。如果学习者对linux平台很熟悉,对实验过程中的各个命令很了解,可以跳过本环节。
先决条件8268
     实验人员需要对文件、目录、命令行命令、可读、可写有基本的了解
     Linux操作系统已经就绪
实验过程
进入各级目录 cd
跳转到/home/hadoop目录:
cd /home/hadoop/
如图:
 
文件查看  ls  ll
1.    查看当前目录下所有文件:
ls  -la
如图:
 
2.    查看某个目录下所有文件:
ls –la /home/hadoop/
如图:
 
文件复制  cp
将A.txt文件从/home/hadoop复制到/home/hadoop/workspace:
cp /home/hadoop/A.txt /home/hadoop/workspace/
如图:
 
文件删除  rm
1.    删除一个文件: /home/hadoop/workspace/A.txt
rm  /home/hadoop/workspace/A.txt
如图:
 
2.    删除一个文件夹: /home/hadoop/workspace/
rm  -rf /home/hadoop/workspace/A.txt
如图:
 
登录其他机器  ssh
从电脑A(20.20.20.110)链接到电脑B(20.20.20.111)
ssh hadoop@20.20.20.111 输入密码即可登陆。
如图:
 
机器之间复制 scp
将A机器上的文件:/home/hadoop/workspace/A.txt,拷贝到B的/home/hadoop目录下:

Scp /home/hadoop/workspace/A.txt hadoop@20.20.20.111:/home/hadoop/
如图:
 

压缩、解压  tar
1. 将一个已存在的文件file1.txt打包成.tar包:
tar -cvf file1.tar file1.txt
 
2. 将一个已存在的文件file1.txt压缩成.gz包:
tar -zcvf file1.tar.gz file1.txt
 
3. 将一个已存在的压缩包,file1.tar或file1.tar.gz解压缩:
tar –xvf file1.tar
tar -zxvf file1.tar.gz
 
文本编辑器vim使用:
打开文本A.txt:vim /home/hadoop/A.txt
开启文本编辑模式:键盘键入i
退出文本编辑模式:键盘Esc
保存并退出编辑的文本::wq
不保存退出编辑的文本::q或者:q!
考试环节
客观题
主观题
扩展阅读
     
2.Hadoop安装
实验目的
     hadoop的安装方式分为单机的伪分布式安装和真正的分布式安装,本实验是在多节点上的分布式安装方式。让使用者学会安装和配置。能够熟练安装hadoop的用户可以跳过。
先决条件
     实验人员对于  1.Linux熟悉  环节中的命令很熟练
实验过程
jdk安装
1.    在/root下有准备好的jdk文件:
 
先在/usr下新建文件夹java:mkdir /usr/java
再把准备好的jdk文件拷贝到/usr/java下:
 
2.    设置环境变量JAVA_HOME
切换到hadoop用户,执行vi /home/hadoop/.bashrc 打开.bashrc文件,在该配置文件末尾添加:
     export JAVA_HOME=/usr/java/jdk_1.7.0_17
如图:
 
无密访问设置
#su hadoop //切换到hadoop用户
$cd /home/hadoop
 
1.    生成id_rsa.pub文件 hadoop多节点上的分布式安装方式:http://www.751com.cn/jisuanji/lunwen_6525.html
------分隔线----------------------------
推荐内容