数仓实践:数据仓库建设公共规范指南

avatar
作者
筋斗云
阅读量:4

一、引言

模型是对现实事物的反映和抽象,能帮助我们更好地了解客观世界。数据模型定义了数据之间关系和结构,使得我们可以有规律地获取想要的数据。

数据模型用于有效组织企业的数据资产,其设计工作应当在一定的规范约束下进行,这是建设高质量数据模型的前提条件。因此本文档用于定义数据中台数据模型设计实施的规范要求。

二、公共规范

2.1 设计理念

企业数据的管理和组织,技术上需要满足业务对数据访问、计算、存储、质量上的技术要求,在业务上需要满足企业便捷使用数据的诉求。针对这样的诉求,业界沉淀了 OneData 体系。

数据中台数据模型设计方法是 OneData 体系的核心组成部分。它在维度建模思想基础上,针对大数据存储计算平台的特点,充分考虑新时代大数据应用特点,以数据中台体系建设的实践经验为依托,建立一套模型设计规范与准则。

在维度建模理论基础下,如何建设标准统一、质量可靠、性能优异、成本可控的数据体系是 OneData 体系追求的目标。

数据模型的维度设计主要以维度建模理论为基础,基于维度数据模型总线架构,构建一致性的维度和事实。

数据模型的事实表设计在维度模型事实表的基础上,结合数据使用场景的具体实践,进行一定扩展,采用宽表设计方法。所谓宽表:为了提升访问便利性和访问性能,在维度模型的事实表基础上,将部分常用维度退化(冗余)到事实表,或者将一些可枚举型的维度和度量,采用多指标、多字段方式实现在事实表中。

在指标定义中,采取组件化的形式,进行指标标准化定义,先规范定义,后生产࿰

广告一刻

为您即时展示最新活动产品广告消息,让您随时掌握产品活动新动态!