Hive为什么要启用Metastore？_云计算

发布时间:2024-07-11 19:56

阅读量:8

相关概念

1.Metadata概念：

元数据包含用Hive创建的database、table等的元信息。元数据存储在关系型数据库中。如Derby、MySQL等。

2.Metastore作用：

客户端连接metastore服务，metastore再去连接MySQL数据库来存取元数据。有了metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道MySQL数据库的用户名和密码，只需要连接metastore 服务即可。

3.Metastore 有3中开启方式:

--1-->默认开启方式:

没有配置metaStore的时候,每当开启bin/hive;或者开启hiveServer2的时候,都会在内部启动一个metastore

嵌入式服务;资源比较浪费,如果开启多个窗口,就会存在多个metastore server。（）

--2-->local mataStore(本地)

当metaStore和装载元数据的数据库(MySQL)存在同一机器上时配置是此模式,

开启metastore服务就只需要开启一次就好,避免资源浪费!

--3-->Remote Metastore(远程)

当metaStore和装载元数据的数据库(MySQL)不存在同一机器上时配置是此模式,

开启metastore服务就只需要开启一次就好,避免资源浪费!

Metastore三种配置方式

由于元数据不断地修改、更新，所以Hive元数据不适合存储在HDFS中，一般存在RDBMS中。

1、内嵌模式（Embedded）

2、本地模式（Local）:本地安装mysql 替代derby存储元数据





  hive.metastore.warehouse.dir
  /user/hive_remote/warehouse


  hive.metastore.local
  true


  javax.jdo.option.ConnectionURL
  jdbc:mysql://localhost/hive_remote?createDatabaseIfNotExist=true

 或者 jdbc:mysql://ip:3306/hive?characterEncoding=UTF-8（推荐这个。不会web，不然两个参数都给加上。。。。）

  javax.jdo.option.ConnectionDriverName
  com.mysql.jdbc.Driver


  javax.jdo.option.ConnectionUserName
  hive


  javax.jdo.option.ConnectionPassword
  password

3、远程模式（Remote）: 远程安装mysql 替代derby存储元数据





  hive.metastore.warehouse.dir
  /user/hive/warehouse


  javax.jdo.option.ConnectionURL
  jdbc:mysql://192.168.1.214:3306/hive_remote?createDatabaseIfNotExist=true


  javax.jdo.option.ConnectionDriverName
  com.mysql.jdbc.Driver


  javax.jdo.option.ConnectionUserName
  hive


  javax.jdo.option.ConnectionPassword
  password


  hive.metastore.local
  false

但是在0.10 ，0.11或者之后的HIVE版本 hive.metastore.local 属性不再使用。

  hive.metastore.uris
  thrift://192.168.1.188:9083