hadoop大数据处理 以hadoop 1.0.3为核心构建整个环境先决条件:有可以接入互联网的电脑,安装Google Chrome以获得最佳使用体验。1.Linux环境熟悉
实验目的hadoop生产环境都是依赖于Linux环境,而部分学习人员只有Windows平台使用经验,为保证后续各环节的顺利执行,需要让使用者熟悉linux环境的主要操作命令,理解分布式并行计算的核心。熟悉vim编辑器的使用方式,能够通过它来创建修改文件。如果学习者对linux平台很熟悉,对实验过程中的各个命令很了解,可以跳过本环节。
先决条件8268
实验人员需要对文件、目录、命令行命令、可读、可写有基本的了解
Linux操作系统已经就绪
实验过程
进入各级目录 cd
跳转到/home/hadoop目录:
cd /home/hadoop/
如图:
文件查看 ls ll
1. 查看当前目录下所有文件:
ls -la
如图:
2. 查看某个目录下所有文件:
ls –la /home/hadoop/
如图:
文件复制 cp
将A.txt文件从/home/hadoop复制到/home/hadoop/workspace:
cp /home/hadoop/A.txt /home/hadoop/workspace/
如图:
文件删除 rm
1. 删除一个文件: /home/hadoop/workspace/A.txt
rm /home/hadoop/workspace/A.txt
如图:
2. 删除一个文件夹: /home/hadoop/workspace/
rm -rf /home/hadoop/workspace/A.txt
如图:
登录其他机器 ssh
从电脑A(20.20.20.110)链接到电脑B(20.20.20.111)
ssh hadoop@20.20.20.111 输入密码即可登陆。
如图:
机器之间复制 scp
将A机器上的文件:/home/hadoop/workspace/A.txt,拷贝到B的/home/hadoop目录下:
Scp /home/hadoop/workspace/A.txt hadoop@20.20.20.111:/home/hadoop/
如图:
压缩、解压 tar
1. 将一个已存在的文件file1.txt打包成.tar包:
tar -cvf file1.tar file1.txt
2. 将一个已存在的文件file1.txt压缩成.gz包:
tar -zcvf file1.tar.gz file1.txt
3. 将一个已存在的压缩包,file1.tar或file1.tar.gz解压缩:
tar –xvf file1.tar
tar -zxvf file1.tar.gz
文本编辑器vim使用:
打开文本A.txt:vim /home/hadoop/A.txt
开启文本编辑模式:键盘键入i
退出文本编辑模式:键盘Esc
保存并退出编辑的文本::wq
不保存退出编辑的文本::q或者:q!
考试环节
客观题
主观题
扩展阅读
2.Hadoop安装
实验目的
hadoop的安装方式分为单机的伪分布式安装和真正的分布式安装,本实验是在多节点上的分布式安装方式。让使用者学会安装和配置。能够熟练安装hadoop的用户可以跳过。
先决条件
实验人员对于 1.Linux熟悉 环节中的命令很熟练
实验过程
jdk安装
1. 在/root下有准备好的jdk文件:
先在/usr下新建文件夹java:mkdir /usr/java
再把准备好的jdk文件拷贝到/usr/java下:
2. 设置环境变量JAVA_HOME
切换到hadoop用户,执行vi /home/hadoop/.bashrc 打开.bashrc文件,在该配置文件末尾添加:
export JAVA_HOME=/usr/java/jdk_1.7.0_17
如图:
无密访问设置
#su hadoop //切换到hadoop用户
$cd /home/hadoop
1. 生成id_rsa.pub文件 hadoop多节点上的分布式安装方式:http://www.751com.cn/jisuanji/lunwen_6525.html