Hadoop3.1.4完全分布式集群搭建

目录

• 一、.修改主机名
• 二、关闭防火墙
• • 1.查看CentOS 7防火墙状态
  • 2.关闭运行的防火墙
  • 3.禁用防火墙服务
• 三、关闭NodeManager服务
• 四、配置静态ip
• 五、克隆虚拟机
• • mac地址的设置如下：
• 六、ip地址和主机名的映射
• • 1.需要使用root用户修改 **/etc/hosts** 文件，删除原来的内容，在结尾直接追加内容（每台机器）：
  • 2.配置完成后可以使用**ping**命令一一测试，看看是够能够正确解析出ip地址，得到目标机器的回应（可以每台机器都测试一下：使用Ctrl + C结束）。
  • 3.在slave1和slave2 上也修改hosts文件，追加内容和步骤1的内容相同，然后重复步骤2
• 七、免密登录设置
• • 1.生成公钥密钥对
  • 2.将子节点的公钥拷贝到主节点并添加进authorized_keys
  • 3.测试是否成功
• 八、配置时间同步服务
• • 1.下载安装ntp服务
  • 2.设置master节点为ntp服务主节点
  • 3.从节点配置ntp服务
  • 4.启动ntp服务
• 九、配置jdk环境
• • 1.下载jdk安装包和hadoop3.1.4
  • 2.将本地的jdk安装包上传到/opt/software系统中
  • 3.进入/opt/software目录下，解压jdk安装包到/opt/module
  • 4.配置环境变量
• 十、Hadoop集群配置
• • 1.修改core-site.xml文件
  • 2.修改hdfs-site.xml文件
  • 3.修改mapred-site.xml文件
  • 4.修改yarn-site.xml文件
  • 5 修改workers文件
  • 6.修改环境变量相关设置
• 十一、格式化文件系统
• 十二、启动和关闭集群
• • 1.hdfs的启动和关闭：(在主节点master上执行)
  • 验证平台搭建是否成功
• 十三、通过UI界面查看Hadoop集群运行状态
• • 1.windows操作系统下，配置hosts映射
  • 2.在浏览器中输入 master:9870
• 十四、配置时间同步服务
• • 1.下载安装ntp服务
  • 2.设置master节点为ntp服务的主节点
  • 3.分别在slave1和slave2节点中配置ntp服务
  • 4.关闭和禁用防火墙服务
  • 5.启动ntp服务
  • 6.使用命令ntpdate master去同步master节点的时间
  • 7.在slave1和slave2节点上启动ntp服务
• 十五、配置本地yum源及安装常用软件
• • 1.yum常用的命令
  • 2.参数
  • 3.配置本地yum源

一、.修改主机名

在Centos7中直接使用root用户执行hostnamectl命令修改，重启（reboot）后永久生效。

hostnamectl set-hostname 新主机名 

要求：三台主机的名字分别为：master slave1 slave2

二、关闭防火墙

1.查看CentOS 7防火墙状态

systemctl status firewalld.service 

2.关闭运行的防火墙

systemctl stop firewalld.service 

关闭后，可查看防火墙状态，当显示disavtive（dead）的字样，说明CentOS 7防火墙已经关闭。

但要注意的是，上面的命令只是临时关闭了CentOS 7防火墙，当重启操作系统后，防火墙服务还是会再次启动。如果想要永久关闭防火墙则还需要禁用防火墙服务。

3.禁用防火墙服务

systemctl disable firewalld.service 

三、关闭NodeManager服务

NAT模式，修改网卡配置文件后，重启服务出现错误’Job for network.service failed because the control process exited with error code. See “systemctl status network.service” and “journalctl -xe” for details.’
解决方法：

1.和 NetworkManager 服务有冲突，关闭 NetworkManger 服务

 systemctl stop NetworkManager 

2.禁止开机启动NetworkManager 服务

systemctl disable NetworkManager 

3.除此以外，其他相关命令如下：

查看# systemctl status NetworkManager  开启# systemctl start NetworkManager 可用# systemctl enable NetworkManager 

四、配置静态ip

使用root用户修改当前启用的网卡配置文件，所在路径为 /etc/sysconfig/network-scripts ，CentOS 6系统默认为ifcfg-eth0，CentOS 7系统默认为ifcfg-ens32 ，使用vi编辑器编辑ifcfg-ens32文件，所用命令如下：

vi /etc/sysconfig/network-scripts/ifcfg-ens32  

三个节点上的这个文件都需要修改，修改的内容基本一致，如下是需要修改和添加的

#原值为dhcp，修改为static BOOTPROT="satic" # 添加IPADDR，对应的值要与原ip在同一网段 IPADDR=xxx.xxx.xxx.xxx # 添加NETMASK，指定子网掩码，默认为255.255.255.0 NETMASK=255.255.255.0 # 添加GATEWAY，要与虚拟机网卡的设置一致，默认仅主机模式为1,NAT模式为2 GATEWAY=xxx.xxx.xxx.1/2 # 如果需要连入外网，则可以添加DNS1和DNS2配置，通常会将DNS1指定为网关地址 DNS1=网关地址 DNS2=8.8.8.8 

注意：配置完成后保存退出，使用systemctl restart network命令重启网卡服务。(如果使用service network restart命令，则需要编辑/etc/resolv.conf文件，添加对应的如下内容：nameserver 8.8.8.8 )

五、克隆虚拟机

克隆完成后需要重新设置ip地址和mac地址

mac地址的设置如下：

启动虚拟机，输入

uuidgen 

vi /etc/sysconfig/network-scripts/ifcfg-ens32 

然后重启网络

systemctl restart network 

六、ip地址和主机名的映射

在完全分布式部署的Hadoop平台上，为了方便各节点的交互，也为了尽量减少配置的修改，通常在配置文件中都会使用主机名来访问节点，这就需要正确的建立主机名与ip的映射。我们目前已经有了三台配置好网络的机器。现在我们有这样三台机器（master为主节点）：

主机名称	IP地址
mast