centos7上安装MySQL并配置Hive

avatar
作者
筋斗云
阅读量:0

目录

一.下载安装MySQL

       1.在MySQL官网上下载。

        2.上传MySQL到centos虚拟机上

        3.解压并安装MySQL 

 二.安装配置Hive

        1.下载hive

         2.上传hive到虚拟机中

3.解压Apache-hive配置环境变量

        1.解压Apache-hive

         2.配置环境变量

4.配置hive的配置文件

        1.配置hive-env.sh文件

        2.配置hive-site.xml文件

        5.解压mysql的jar包驱动

                1.解压jar包

                2.移动jar包到hive的目录下

        6.格式化hive

        7.启动hive


一.下载安装MySQL

       1.在MySQL官网上下载。

                1.搜索MySQL的官网,也可以点击https://www.mysql.com/进入MySQL的官网页面。   

               2. 进入页面后点击 downloads,进入下载页面

  

                3.进入到 downloads界面后往下拉页面,选择MySQL Community Downloads

                 4.进入MySQL的社区下载,下载MySQL和jar包,需要注意的是hive的配置MySQL

                   的jar包,这里一并下载。

                   下载MySQL

                        点击 MySQL Community Server

                        进入页面后显示的是MySQL的最新版本,最新版本往往在自己的项目中会导致一些

                问题,比如:jar包不全,版本冲突等。这里我们选择下载的是MySQL的8.0.26。这个与

                我们所要搭配的Hive-3.1.3的版本是兼容的。

                        点击Archives,这里可以选择MySQL的旧版本。

                        进入到Archives界面后选择响应的版本系统,选择8.0.26版本,系统选择红帽

                        选择好版本后我们点击下载我们的MySQL版本

                        注:这里面下载文件最大的那一个版本,这里面包含了下面的文件,是这一版本

                MySQL软件包的总和。

                        点击download下载,这里需要注意的是有的浏览器下载的时候会弹出是否需要帮助

                的页面,只需要点击左下角不需要帮助就行了。

                下载jar包(如果只是安装MySQL的不用下载jar包)

                        回到之前的MySQL社区下载的界面选择MySQL的jar

                        进入jar的界面选择 Archives,进到Archives界面后这次选择

        2.上传MySQL到centos虚拟机上

                点击Xftp 7连接我们的虚拟机

                这里的Xftp 7我们可以在Xftp 7可以在官网上自行下载,这里就不阐述具体的下载了

        3.解压并安装MySQL 

                1. 进入到我们的centos虚拟机,找到我们上传到文件目录下,这里的目录可以随意选择

        在上传的过程中,我们默认放在/opt目录下用来管理安装的包

                2.使用命令解压我们的MySQL安装包

                        解压命令为:

                        tar -xvf mysql-8.0.26-1.el7.x86_64.rpm-bundle.tar

                        这里如果想要将其解压到别的文件夹下可以使用

                        tar -xvf mysql-8.0.26-1.el7.x86_64.rpm-bundle.tar -C [所要存放的目录] 

                        这里就解压到我们当前的目录下,需要注意的是解压出来是多个文件,所以放在一

                个空文件夹下更好。解压出来是蓝色框中的几个数据。

                3.卸载centos7自带的mariadb库,这与MySQL数据库会产生冲突。

                        使用rpm命令来查看自己的虚拟机上是否有mariadb

                         rpm -qa |grep mariadb

                        使用rpm命令删除 mariadb

                        rpm -e --nodeps mariadb-libs

                        这里需要注意的是如果出现提示权限不足时,需要提权,使用sudo su或者su 

                4.安装MySQL,需要注意的是在安装MySQL时它是需要有先后顺序的,这是因为在

                rpm包中是有依赖关系的,安装顺序错误会报出缺少模块的错误,这里按照这样的顺序

                安装。

                        rpm -ivh mysql-community-common-8.0.26-1.el7.x86_64.rpm

                        rpm -ivh mysql-community-client-plugins-8.0.26-1.el7.x86_64.rpm 

                        rpm -ivh mysql-community-libs-8.0.26-1.el7.x86_64.rpm

                        rpm -ivh mysql-community-client-8.0.26-1.el7.x86_64.rpm

                        rpm -ivh mysql-community-libs-compat-8.0.26-1.el7.x86_64.rpm

                        rpm -ivh mysql-community-server-8.0.26-1.el7.x86_64.rpm

                5.执行上述命令安装好后,对MySQL进行初始化

                         mysqld --initialize --console

                6.修改MySQL文件使其MySQL的用户有权限直接使用

                        chown -R mysql:mysql /var/lib/mysql/

                7.启动MySQL的服务

                         systemctl start mysqld

                8.启动MySQL,并修改MySQL密码

                        (1)先查看MySQL给我们设置的初始密码

                                cat /var/log/mysqld.log |grep localhost

                       (2) 进入MySQL,并输入我们刚才所查找到的初始密码

                                mysql -u root -p 

                        (3)修改密码,这里是必要要修改密码的,如果不修改密码会导致报

                        You must reset your password using ALTER USER statement before executing 

                        this statement.错误

                        (4)通过alter命令来修改MySQL的密码

                        alter user 'root'@'localhost' identified by '你的密码';

                         这里root是你的用户,localhost是你的主机,这里的密码需要设复杂一点要大于8 

                位由大写,小写字母,数字和下划线组成。当然如果你不想设置复杂的密码可以修改

                MySQL的密码策略。

                        (5)退出MySQL,这里使用exit;退出,使用mysql -u root -p来重新启动MySQL

                输入你刚才设置的MySQL密码。

 二.安装配置Hive

        1.下载hive

                1.搜索清华源

                这里由于hive的官网在外国,下载起来比较缓慢,这里我们采用国内的镜像源,如:清华源,阿里源等。这里我们就使用清华源进行下载hive。

 在百度中搜索清华源,一般第一个就是。

                2.搜索Apache

                进入清华源后点击搜索,输入Apache,hive属于Apache旗下

                 3.进入Apache后向下翻,找到hive,并点击进入hive

                4. 进入到hive后根据自己的版本选择所要下载的hive版本,这里我们要下载的是hive-3.1.3版本

                5.进入到hive-3.1.3中后选择bin的文件进行下载。

         2.上传hive到虚拟机中

                1.是用Xftp 7上传hive到虚拟机中

3.解压Apache-hive配置环境变量

        1.解压Apache-hive

                 1.使用cd命令移动到hive所上传的目录下

                先在/opt目录下创建一个hadoop目录

                mkdir /opt/hadoop

                在hive所在的目录下使用解压

                tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /opt/hadoop/
 

         2.配置环境变量

                1.使用cd 命令移动到/opt/hadoop目录下

                        cd  /opt/hadoop/

                2.使用mv命令移动修改目录方便接下来的配置

                        mv apache-hive-3.1.3-bin/ hive-3.1.3/ 

                3.配置系统变量

                        这里可以配置系统变量或者用户变量,这里我们直接配置系统变量就行。

                        使用vim /etc/profile进入到系统变量当中,这里也可以在/etc/profile.d/目录下创建一个文件,这里在/etc/profile.d/创建一个my_env.sh。

                        cd /etc/profile.d/

                        touch my_env.sh

                        chmod 777 my_env.sh

                        vim /etc/profile.d/my_env.sh

                        进入到my_env.sh文件中,添加hive的目录位置,这里填具体的位置

                        #HIVE_HOME
                        export HIVE_HOME=/opt/hadoop/hive-3.1.3
                        export PATH=$PATH:$HIVE_HOME/bin

                        使用source对文件进行文件进行刷新

                        source /etc/profile

4.配置hive的配置文件

        1.配置hive-env.sh文件

                1.cd到hive的conf目录下

                        cd /opt/hadoop/hive-3.1.3/conf/

                2.移动配置文件并配置其中的内容

                       mv hive-env.sh.template hive-env.sh

                        vim  hive-env.sh

                        进入到hive-env.sh文件中到文件最后添加如下的配置(这里的路径选择自己的hadoop目录和hive的conf目录)

                        点击键盘的i键

                        HADOOP_HOME=/opt/hadoop/hadoop-3.1.3/

                        export HIVE_CONF_DIR=/opt/hadoop/hive-3.1.3/conf

                3.退出hive-env.sh

                        点击键盘Esc键,输入冒号(:),输入小写wq回车,就退出了。

        2.配置hive-site.xml文件

                1.创建hive-site.xml

                        vim hive-site.xml

                2.配置hive-site.xml环境

<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property>     <name>hive.metastore.local</name>     <value>true</value>   </property> <!--这里的hadoop101为mysql所存放的主机名称,如果是伪分布式的可以写localhost-->   <property>     <name>javax.jdo.option.ConnectionURL</name>     <value>jdbc:mysql://hadoop101:3306/hive?createDatabaseIfNotExist=true</value>   </property>   <property>     <name>javax.jdo.option.ConnectionDriverName</name>     <value>com.mysql.jdbc.Driver</value>   </property> <!--这里的root为mysql的用户名-->   <property>     <name>javax.jdo.option.ConnectionUserName</name>     <value>root</value>   </property> <!--这里的A1b2_c3d4e5为mysql数据库的密码-->   <property>     <name>javax.jdo.option.ConnectionPassword</name>     <value>A1b2_c3d4e5</value>   </property>  </configuration> 

                3.退出hive-site.xml文件

        5.解压mysql的jar包驱动

                1.解压jar包

                        1.这里的jar包已经在前面下载MySQL的时候已经下载了,这里就移动到下载jar包的目录下进行jar包的解压。

                                 tar -zxvf mysql-connector-java-8.0.26.tar.gz

                2.移动jar包到hive的目录下

                        1.移动到解压后的jar包目录下

                                cd mysql-connector-java-8.0.26/

                        2.使用cp命令对jar包进行复制

                                cp mysql-connector-java-8.0.26.jar /opt/hadoop/hive-3.1.3/lib/

        6.格式化hive

                 使用格式化命令

                        schematool -dbType mysql -initSchema

        7.启动hive

                1.启动Hadoop的进行,hive是基于Hadoop的来进行搭建的,他的数据时存储在hdfs中的,元数据存储在MySQL中。

                        start-dfs.sh

                        start-yarn.sh

                2.启动hive

                        hive

                3.常见报错,在使用hive命令是报java.net.ConnectException: 拒绝连接; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused这是因为Hadoop的集群没有启动 

广告一刻

为您即时展示最新活动产品广告消息,让您随时掌握产品活动新动态!