阅读量:0
一. 案例信息 Hadoop的安装部署的模式一共有三种: 本地模式,默认的模式,无需运行任何守护进程(daemon),所有程序都在单个JVM上执行。由 于在本机模式下测试和调试MapReduce程序较为方便,因此,这种模式适宜用在开发阶段。使用 本地文件系统,而不是分布式文件系统。 伪分布模式,在一台主机模拟多主机。即,Hadoop的守护程序在本地计算机上运行,模拟集群环 境,并且是相互独立的Java进程。在这种模式下,Hadoop使用的是分布式文件系统,各个作业也 是由JobTraker服务,来管理的独立进程。在单机模式之上增加了代码调试功能,允许检查内存使 用情况,HDFS输入输出,以及其他的守护进程交互。类似于完全分布式模式,因此,这种模式常 用来开发测试Hadoop程序的执行是否正确。 全分布模式,完全分布模式的守护进程运行在由多台主机搭建的集群上,是真正的生产环境。在所 有的主机上安装JDK和Hadoop,组成相互连通的网络。 本案例采用伪分布模式搭建Hadopp,在一台主机模拟多主机,用于后续的程序开发。 2. 实验目的 掌握Hadoop单机版的搭建及配置方法 掌握HDFS文件系统的开启及关闭方法 掌握Yarn的开启及关闭方法 掌握Hadoop平台的基本使用 3. 实验环境 hadoop == 3.1.0 CentOS == 7.3 jdk == 1.8二. 实验指导 关联技术:
- 环境准备
- 文件解包解压
- JDK安装配置
- VIM文本编辑命令
- 文件上传
- 系统环境配置
- 配置Hadoop
- XML配置
- 防火墙配置
- 关注B站刘老师教编程jps命令
- 使用内置程序计算PI值
- jar包执行
2. 实验步骤
- 环境准备
- 配置Hadoop
- 初始化并启动Hadoop
- Hadoop(YARN)环境搭建
- 使用内置程序计算PI值