头歌Hadoop 开发环境搭建及HDFS初体验（第2关：配置开发环境 - Hadoop安装与伪分布式集群搭建）

第1关：配置开发环境 - JavaJDK的配置

第2关：配置开发环境 - Hadoop安装与伪分布式集群搭建

第3关：HDFS系统初体验 

注：

1 头歌《Hadoop 开发环境搭建及HDFS初体验》三关在一个实验环境下，需要三关从前往后按顺序评测，跳关或者实验环境结束后重新打开 不能单独评测通过

2 复制粘贴请用右键粘贴，CTRL+C/V不管用哦~

第1关：配置开发环境 - JavaJDK的配置：

解压：

mkdir /app cd /opt tar -zxvf jdk-8u171-linux-x64.tar.gz mv jdk1.8.0_171/ /app

配置环境变量：

vim /etc/profile

细节：vi/vim是一个全屏幕的文本编辑器。输入i进入插入模式(图1)。！！！输入完成后！！！，我们先按Esc退出，输入 :wq （保存退出）然后enter就行了(图2)。

图1：

图2： 

详细可看：Linux文本编辑器---vim详解_llinux vim_卖寂寞的小男孩的博客-CSDN博客

 输入内容如下：输入位置为文本内容末尾另起一行

JAVA_HOME=/app/jdk1.8.0_171 CLASSPATH=.:$JAVA_HOME/lib/tools.jar PATH=$JAVA_HOME/bin:$PATH export JAVA_HOME CLASSPATH PATH

通过下面的命令行：使上面的配置生效 

source /etc/profile

java -version

评测！ 

第2关：配置开发环境 - Hadoop安装与伪分布式集群搭建：

cd /opt ll tar -zxvf hadoop-3.1.0.tar.gz -C /app cd /app mv hadoop-3.1.0/ hadoop3.1 

ssh-keygen -t rsa -P '' #两次回车  图3  图4

图3： 

图4：

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 600 ~/.ssh/authorized_keys

家人们坚持住，一大波vim即将来袭 ！！！

vim /etc/ssh/sshd_config  RSAAuthentication yes # 启用 RSA 认证 PubkeyAuthentication yes # 启用公钥私钥配对认证方式 AuthorizedKeysFile %h/.ssh/authorized_keys # 公钥文件路径 

cd /app/hadoop3.1/etc/hadoop vim hadoop-env.sh  export JAVA_HOME=/app/jdk1.8.0_171 

vim yarn-env.sh  export JAVA_HOME=/app/jdk1.8.0_171 

又一大波vim飘过~~~

插入的内容放在两个<configuration>中。如下图：

vim core-site.xml  <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> <description>HDFS的URI，文件系统://namenode标识:端口号</description> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/hadoop/tmp</value> <description>namenode上本地的hadoop临时文件夹</description> </property> 

vim hdfs-site.xml  <property> <name>dfs.name.dir</name> <value>/usr/hadoop/hdfs/name</value> <description>namenode上存储hdfs名字空间元数据 </description> </property> <property> <name>dfs.data.dir</name> <value>/usr/hadoop/hdfs/data</value> <description>datanode上数据块的物理存储位置</description> </property> <property> <name>dfs.replication</name> <value>1</value> </property> 

vim mapred-site.xml  <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> 

vim yarn-site.xml  <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>192.168.2.10:8099</value> <description>这个地址是mr管理界面的</description> </property> 

最后一波了，挺住！！！

将Hadoop添加到环境变量中并设置root用户可以启动hadoop

mkdir /usr/hadoop mkdir /usr/hadoop/tmp mkdir /usr/hadoop/hdfs mkdir /usr/hadoop/hdfs/data mkdir /usr/hadoop/hdfs/name

vim /etc/profile  # 在文件末尾插入下面代码： #set Hadoop Environment export HADOOP_HOME=/app/hadoop3.1 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 

source /etc/profile

hadoop namenode -format cd /app/hadoop3.1/sbin

下面的vim均在文件头部插入。如图：

vim start-dfs.sh  HDFS_DATANODE_USER=root HADOOP_SECURE_DN_USER=hdfs HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root 

vim stop-dfs.sh  HDFS_DATANODE_USER=root HADOOP_SECURE_DN_USER=hdfs HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root

vim start-yarn.sh  YARN_RESOURCEMANAGER_USER=root HADOOP_SECURE_DN_USER=yarn YARN_NODEMANAGER_USER=root

vim stop-yarn.sh  YARN_RESOURCEMANAGER_USER=root HADOOP_SECURE_DN_USER=yarn YARN_NODEMANAGER_USER=root

原神启动，不对Hadoop启动： 

start-dfs.sh jps 

评测！

第3关：HDFS系统初体验：

start-dfs.sh hadoop fs -mkdir /task hadoop fs -ls / touch task.txt

最后一个vim了 ，加油！

vim task.txt  hello educoder

 hello educoder输入完后，退出vim文本编辑器后再输入下面的内容

hadoop fs -put task.txt /task hadoop fs -cat /task/task.txt

评测！

辛苦了家人们，通过了请点点赞吧（･ﾟ･(｡>ω<｡)･ﾟ･） 

参考链接：http://t.csdn.cn/u6TEi 不过他没我的细哦(>_<)