【大数据Hive】hive 多字段分隔符使用详解

目录

一、前言

二、hive默认分隔符规则以及限制

2.1 正常示例：单字节分隔符数据加载示例

2.2 特殊格式的文本数据，分隔符为特殊字符

2.2.1 文本数据的字段中包含了分隔符

三、突破默认限制规则约束

3.1 数据加载不匹配情况 1

3.2 数据加载不匹配情况 2

3.3 解决方案一：替换分隔符

3.4 解决方案二：RegexSerDe正则加载

问题一处理过程：

问题二处理过程：

3.5 解决方案三：自定义InputFormat

3.5.1 操作流程

四、URL解析函数

4.1 URL基本组成

4.1.1 parse_url

4.1.2 问题分析

4.1.3 parse_url_tuple

4.1.4 案例操作演示

一、前言

分隔符是hive在建表的时候要考虑的一个重要因素，根据要加载的原始数据的格式不同，通常数据文件中的分隔符也有差异，因此可以在建表的时候指定分隔符，从而映射到hive的数据表。

二、hive默认分隔符规则以及限制

Hive默认序列化类是LazySimpleSerDe，其只支持使用单字节分隔符（char）来加载文本数据，例如逗号、制表符、空格等等，默认的分隔符为”\001”。

根据不同文件的不同分隔符，我们可以通过在创建表时使用 row format delimited 来指定文件中的分割符，确保正确将表中的每一列与文件中的每一列实现一一对应的关系。

如下是hive建表语法树中的一部分

在这个语法树中，大家熟知的分隔符即 DELIMITED 关键字，从语法中看出来默认情况下，其分割的都是单字节的数据，可现实情况下，实际要处理的文本数据内容可能要复杂很多，比如下面这些情况：