菜单
　　
    hadoop大数据处理 以hadoop 1.0.3为核心构建整个环境先决条件：有可以接入互联网的电脑，安装Google Chrome以获得最佳使用体验。1.Linux环境熟悉
    实验目的hadoop生产环境都是依赖于Linux环境，而部分学习人员只有Windows平台使用经验，为保证后续各环节的顺利执行，需要让使用者熟悉linux环境的主要操作命令，理解分布式并行计算的核心。熟悉vim编辑器的使用方式，能够通过它来创建修改文件。如果学习者对linux平台很熟悉，对实验过程中的各个命令很了解，可以跳过本环节。
    先决条件8268
         实验人员需要对文件、目录、命令行命令、可读、可写有基本的了解
         Linux操作系统已经就绪
    实验过程
    进入各级目录 cd
    跳转到/home/hadoop目录：
    cd /home/hadoop/
    如图：
     
    文件查看  ls  ll
    1.    查看当前目录下所有文件：
    ls  -la
    如图：
     
    2.    查看某个目录下所有文件：
    ls –la /home/hadoop/
    如图：
     
    文件复制  cp
    将A.txt文件从/home/hadoop复制到/home/hadoop/workspace:
    cp /home/hadoop/A.txt /home/hadoop/workspace/
    如图：
     
    文件删除  rm
    1.    删除一个文件： /home/hadoop/workspace/A.txt
    rm  /home/hadoop/workspace/A.txt
    如图：
     
    2.    删除一个文件夹： /home/hadoop/workspace/
    rm  -rf /home/hadoop/workspace/A.txt
    如图：
     
    登录其他机器  ssh
    从电脑A（20.20.20.110）链接到电脑B（20.20.20.111）
    ssh hadoop@20.20.20.111 输入密码即可登陆。
    如图：
     
    机器之间复制 scp
    将A机器上的文件：/home/hadoop/workspace/A.txt，拷贝到B的/home/hadoop目录下：

    Scp /home/hadoop/workspace/A.txt hadoop@20.20.20.111：/home/hadoop/
    如图：
     

    压缩、解压  tar
    1. 将一个已存在的文件file1.txt打包成.tar包：
    tar -cvf file1.tar file1.txt
     
    2. 将一个已存在的文件file1.txt压缩成.gz包：
    tar -zcvf file1.tar.gz file1.txt
     
    3. 将一个已存在的压缩包，file1.tar或file1.tar.gz解压缩:
    tar –xvf file1.tar
    tar -zxvf file1.tar.gz
     
    文本编辑器vim使用:
    打开文本A.txt：vim /home/hadoop/A.txt
    开启文本编辑模式：键盘键入i
    退出文本编辑模式：键盘Esc
    保存并退出编辑的文本：:wq
    不保存退出编辑的文本：:q或者:q!
    考试环节
    客观题
    主观题
    扩展阅读
         
    2.Hadoop安装
    实验目的
         hadoop的安装方式分为单机的伪分布式安装和真正的分布式安装，本实验是在多节点上的分布式安装方式。让使用者学会安装和配置。能够熟练安装hadoop的用户可以跳过。
    先决条件
         实验人员对于  1.Linux熟悉  环节中的命令很熟练
    实验过程
    jdk安装
    1.    在/root下有准备好的jdk文件：
     
    先在/usr下新建文件夹java：mkdir /usr/java
    再把准备好的jdk文件拷贝到/usr/java下：
     
    2.    设置环境变量JAVA_HOME
    切换到hadoop用户，执行vi /home/hadoop/.bashrc 打开.bashrc文件，在该配置文件末尾添加：
         export JAVA_HOME=/usr/java/jdk_1.7.0_17
    如图：
     
    无密访问设置
    #su hadoop //切换到hadoop用户
    $cd /home/hadoop
     
    1.    生成id_rsa.pub文件
  1. 上一篇：Packet Tracer在网络协议教学中的应用研究
  2. 下一篇：VB人事管理系统设计论文+源代码

  1. 基于Hadoop的制造过程大数据存储平台构建

  2. Hadoop云计算环境下的Web应用日志安全威胁分析

  3. 基于Hadoop平台的文档检索技术研究与实现

  4. 基于hadoop的海量文本分类算法研究

  5. 基于Hadoop的微博用户行为分析

  6. Openstack平台上Hadoop的部署与维护

  7. 基于hadoop的数据挖掘算法研究与实现

  8. 中考体育项目与体育教学合理结合的研究

  9. 河岸冲刷和泥沙淤积的监测国内外研究现状

  10. 杂拟谷盗体内共生菌沃尔...

  11. java+mysql车辆管理系统的设计+源代码

  12. 酸性水汽提装置总汽提塔设计+CAD图纸

  13. 十二层带中心支撑钢结构...

  14. 大众媒体对公共政策制定的影响

  15. 电站锅炉暖风器设计任务书

  16. 当代大学生慈善意识研究+文献综述

  17. 乳业同业并购式全产业链...

　　

About

751论文网手机版...

主页：http://www.751com.cn

关闭返回