Hadoop单机版环境搭建

avatar
作者
筋斗云
阅读量:0
. 案例信息 Hadoop的安装部署的模式一共有三种: 本地模式,默认的模式,无需运行任何守护进程(daemon),所有程序都在单个JVM上执行。由 于在本机模式下测试和调试MapReduce程序较为方便,因此,这种模式适宜用在开发阶段。使用 本地文件系统,而不是分布式文件系统。 伪分布模式,在一台主机模拟多主机。即,Hadoop的守护程序在本地计算机上运行,模拟集群环 境,并且是相互独立的Java进程。在这种模式下,Hadoop使用的是分布式文件系统,各个作业也 是由JobTraker服务,来管理的独立进程。在单机模式之上增加了代码调试功能,允许检查内存使 用情况,HDFS输入输出,以及其他的守护进程交互。类似于完全分布式模式,因此,这种模式常 用来开发测试Hadoop程序的执行是否正确。 全分布模式,完全分布模式的守护进程运行在由多台主机搭建的集群上,是真正的生产环境。在所 有的主机上安装JDKHadoop,组成相互连通的网络。 本案例采用伪分布模式搭建Hadopp,在一台主机模拟多主机,用于后续的程序开发。 2. 实验目的               掌握Hadoop单机版的搭建及配置方法 掌握HDFS文件系统的开启及关闭方法 掌握Yarn的开启及关闭方法 掌握Hadoop平台的基本使用 3. 实验环境 hadoop == 3.1.0 CentOS == 7.3 jdk == 1.8. 实验指导 关联技术:
  1. 环境准备
  2. 文件解包解压
  3. JDK安装配置
  4. VIM文本编辑命令
  5. 文件上传
  6. 系统环境配置
  7. 配置Hadoop
  8. XML配置
  9. 防火墙配置
  10. 关注B站刘老师教编程jps命令
  11. 使用内置程序计算PI值
  12. jar包执行

2. 实验步骤

  1. 环境准备
  2. 配置Hadoop
  3. 初始化并启动Hadoop
  4. Hadoop(YARN)环境搭建
  5. 使用内置程序计算PI
. 实验操作01. 步骤一:环境准备步骤操作说明 1. 配置JDK 下载JDK,登录官方https://www.oracle.com/java/technologies/downloads/#java8 下载所需版 本的 JDK,版本为JDK 1.8 以上就是单机版Hadoop部署的全过程了,有问题的小伙伴私信我,我帮您解答

广告一刻

为您即时展示最新活动产品广告消息,让您随时掌握产品活动新动态!