数据仓库架构设计

1. 数据仓库架构图
2. 名词介绍
3. 分层介绍

在去年由于公司业务需要，设计了仓库，太详细的可能设计公司一些隐私，所以在这里简单介绍一下，读者如果有什么疑问的话，可以私信咨询我。

数据仓库架构图

这里是我经过思考，使用processon画的图

名词介绍

|缩写 | 全名| 中文解释 | 作用 |

| ODS | operational data store | 操作存储数据层 | 数据沉淀 |

| DWD | data warehouse detail | 数仓库详细层 | 数据沉淀 |

| DWB | data warehouse basis | 数据仓库基础层 | 轻度汇总层 |

| DWS | data warehouse service | 数据仓库服务层 |主题层 |

| DIM | Dictionary Data Layer | 字典成 | 渠道，黑白名单 |

| APP | | 应用层 | 直接导出，展示 |

分层介绍

• 1、 ODS层介绍
  作用：数据接口层,主要作用是接入每天的数据，然后进入DWS层进行主题分类。 命名规范：ODS_表名字 （建议表明跟文件名字一样） 最长30个字符。 保留策略：目前保留所有原系统的数据，在将来会按照实际需要更小的缩小ODS层数据的保留策略。
• 2、DWS层介绍 作用：主题层，根据业务种类划分，减少数据的冗余，并对数据能够更好的管理。
• 3、TMP层介绍
  作用：临时表层，层与层之间数据的清洗、转化会产生很多中间临时表，我们会在这一层做统一的管理。 命名规范： TMP_表名字_日期
• 4、DIM层介绍
  作用：公共数据层 命名规范：DIM_表名字 保留策略：该层数据的保留策略按照源系统不同的提供方式来灵活变更，例如源系统每天提供一份新数据，我们可以用全删全插的加载策略，无需保留历史。
• 5、APP层介绍
  作用：该层主要作为数据展示层使用，按照业务需求进行计算等到的结果放入APP层，该层也会使用DWS的主题来对数据进行分类管理，该层数据最终会使用工具（sqoop或者其他）导出到MYSQL展示使用。 保留策略：该层数据的保留策略跟DWS相同。 命名规范：APP_主题名_表名
• 6、MYSQL相关建议
  作用：该层只要导出hive 的分析完的数据到MYSQL中进行展示。 命名规范：REP（reprot）_主题名_表名 保留策略：由于MYSQL是事务性数据库，单表记录在1000万以上的时候性能就明显的下降，建议MYSQL数据库中存放一年、两年更或者半年的数据（按需保留），将一年之前的数据再导入Hive中BAK层进行备份，如果将来有需要的话，直接使用HIVE SQL进行数据分析。 其他事项：暂无