认识达内从这里开始

随着互联网的不断发展，越来越多的企业都引入了大数据的相关技术应用体系，下面我们就通过案例分析来简单了解一下，数据中台架构应用会用到哪些技术。

数据中台的数据架构设计是基于需求调研阶段的业务需求、数据情况，完成数据中台概要设计工作。数据架构设计主要包含OneModel、OneID和OneService。

1.OneData

数据中台就是要在整个企业中形成一个公共数据层，消灭这些跨部门的小数仓，实现数据的复用，所以强调数据只加工一次，不会因为不同的应用场景，不同的部门数据重复加工。

如何实现：

数据划分主题进行管理：表的命名，字段的命名等规范统一，做到见名知义

数据格式和字段命名和定义规范化：具体参考离线数仓项目讲解的表和字段命名规范：数仓分层-业务主题域-业务过程-基础信息-分区规则

指标一致，不存在二义性：提供全局数据字典确保意义一致。

数据模型复用：推荐采用分层的设计方式，通常包括：ODS原始数据层，DWD明细数据层，DWS轻度汇总数据层，ADS应用数据层/DM数据集市层，DIM公共维度层。

数据完善：数据中台尽可能的覆盖到所有业务过程，用户和系统的一切行为都被记录下来永久保存OneData体系的目标是构建统一的数据规范标准，让数据成为一种资产，而不是成本。资产和成本的

差别在于资产是可以沉淀的，是可以被复用的。成本是消耗性质的、是临时的、无法被复用的。

OneModel可分为以下四部分。

业务板块：根据业务的特点和需求将相对独立的业务划分成不同的业务板块，不同业务板块之间的指标或业务重叠度较低。数据域：数据域是指面向业务分析，将业务过程或者维度进行抽象的集合。划分数据域前，需要基于数据调研与业务调研，熟悉各业务系统设计文档、数据字典等。归纳与总结出跨源的主题域合并，梳理出整个企业的数据域。数据域划分上，需要从三个方面进行考虑。

1)全局性：站在企业高度上，保障良好的扩展性和稳定性。

2)数量适中：根据业务情况，划分的粒度要粗细合适，通常在5～15个。

3)可理解：站在业务的角度上，确保划分便于理解，不产生歧义。

在划分数据域时，既要涵盖当前所有业务的需求，也要考虑有新业务时，能够将其包含到已有的数据域中，或者能够很容易地拓展新的数据域。

总线矩阵：在进行了充分的业务调研和需求调研后，就要构建总线矩阵了。总线矩阵由业务处理过程和维度组成一个二维表格。在行为不同的业务处理过程(事实)与维度的交叉点上打上标记，表示该业务处理过程与该维度相关。这就是构建一致性维度与一致性事实的过程。维度表和事实表的模型设计以构建出来的总线矩阵为依据。

数据分层：数据模型以维度建模理论为基础，建设数据中台的公共数据层。一般将数据模型划分为操作数据层(OperationalDataStore，ODS)、通用数据模型层(CommonDataModel，CDM)和应用数据层(ApplicationDataService，ADS)。

OneID功能包含以下四部分。

OneID配置：主要根据具体的业务需求，完成数据源表、ID映射表、歧义规则表的设置工作。

OneID数据处理：主要通过数据源表和ID映射表等配置表单完成原始数据的数据拉取和清洗等操作，生成基础数据。

OneID规则计算：主要利用图计算框架完成关键连接点的搜索和歧义数据的图连通工作，并根据配置的规则对图数据进行切割，从而确定一个实体的身份信息，生成OneID。

OneID数据存储和展示：主要完成OneID图数据存储和展示，以及后生成的OneID清单数据存储等。

OneService统一数据服务

OneService包括以下功能模块：服务单元设计、API设计、API审核和API运营。服务单元设计是指将单个或多个物理表配置成一个视图。基于配置好的服务单元，通过简单可视化界面或SQL脚本，设计API的请求参数和返回参数，以及对应的API信息。API设计好后，将其发布至服务市场供使用者调用。API在被使用前，需要经过申请审批。被使用的API需要运维及监控，包括平均响应时长、调用次数、错误率、掉线百分比等指标的监控，还可以配置API的告警及限流措施等。

应用开发需要定制不同的访问接口。API接口一方面对应用开发屏蔽了底层数据存储，使用统一标准的API接口查询数据，提高了数据接入的速度。另一方面，对于数据开发，提高了数据应用的管理效率，建立了表到应用的链路关系。

屏蔽底层数据来源的不同：不同的数据来源，统一的数据出口。实现包括权限，日志，监控等管控能力的数据网关：权限控制，统计分析，流量控制，成本控制等给用户屏蔽底层的物理数据模型，提供数据逻辑模型：动态拼接多张相同粒度的数据结构，简化接入复杂度

提供无状态的，高性能和稳定可靠的数据服务

OneService体系的目标是提高数据的共享能力，让数据可以被用得好，用得爽。

【免责声明】：本内容转载于网络，转载目的在于传递信息。文章内容为作者个人意见，本平台对文中陈述、观点保持中立，不对所包含内容的准确性、可靠性与完整性提供形式地保证。请读者仅作参考。更多内容请加danei0707学习了解。欢迎关注“达内在线”参与分销，赚更多好礼。