普元元数据管理软件 鲲鹏

• 元数据采集自动化，快速理清数据资源现状。
• 元数据变更管理流程化,降低运维风险
• 端到端数据流转溯源，满足数据监管要求
• 有效监控数据模型设计，满足标准落地诉求

8.1	某政策性银行数据管理系统
8.1.1	背景与问题
本着对数据平台的数据质量提升的目的，某银行在2009年8月开始建设数据管理项目，但有些方面仍不完善，偏于技术方面，业务部门无法使用，使得系统在全行范围内无法推广，在数据标准管理上缺乏管理机制。元数据方面数据比较松散，没有形成一个整体的体系。
另外数据管理系统与数据仓库的建设、数据标准咨询等项目有着重要的联系， 为了提升某银行数据管理效率和服务水平，本项目在前期数据管理项目的基础上，增强和优化前期系统功能，提升用户体验，同时，依据银行出台的数据管理办法，完善管理流程系统和配合数据标准化落地，加强数据管理系统的推广工作。
	建设目标
满足源系统、ODS、数据仓库以及下游部分应用对数据管理的业务需求，借助元数据分析功能对上游系统发生变更时发现对下游系统的影响进行分析并进行变更同步及变更通知，建立全行的全局数据地图。
	实施范围
纳入元数据管理范围的系统包括源系统、ODS、EDW、集市、业务系统，应用系统（报表）。
8.1.2	使用产品与方案
	建设内容
通过普元元数据平台支持源系统、ODS、数据仓库及下游部分应用对元数据的应用需求。增加采集适配器，定时自动的采集元数据保证元数据数据的及时更新，保证真实数据关系的建立，推进全行数据地图的建设，深化元数据平台的核心功能，强化元数据平台对外的接口服务，辅助数据标准的落地实施。
	建设方案
 
8.1.3	实施效果
	企业级的全面元数据管理，纳入了全行的各类元数据，全面共享元数据，为全行提供了统一的数据字典。
	通过元数据平台建立了全行的数据流转视图，提供了数据的血统、影响分析，辅助系统的开发运维。
	通过元数据平台建立了数据标准和技术元数据的映射，辅助数据标准的落地执行。
	提高采集的自动化程度，确保元数据获取的及时性和准确性。

背景与问题
某银行整体IT系统建设已经达到一定的规模，已应用的IT系统有100个左右。随着业务需要的不断发展，这些系统的日常变更也较为频繁，每周都会存在相应的变更上线操作。从管理模式上看，变更的管理是以系统为基础，以项目为中心进行管理，虽然相应的负责人可能存在较大的重叠，但存在两个不同的观察维度。
基于该银行的实际情况，如何及时的获知业务系统的变更计划，是评估影响和确定相应方案的基础，这也是为ODS项目组所关注的重要的问题。由于整体IT流程管理上的不完善，业务系统上线计划确定与实际执行可能存在一些误差，导致ODS等下游系统的被动，从而影响了整体IT应用对业务的支撑效果。
8.2.2	使用产品与方案
该银行元数据管理流程以元数据管理办法为依据，以元数据管理系统的为技术支撑，以事后监督为重点进行编制。通过流程的落地执行，保障上线版本的计划与实际操作的一致性，推进变更管理、IT流程管理规范化，降低对分析类应用的影响，从而提升某银行IT项目群的整体管理水平。
元数据系统的功能架构如下：
 
 元数据管理系统对接测试、待发布和生产环境，实现全数据生命周期的元数据管理。
	测试环境
测试环境为非受控环境，用于各项目组的一些测试工作，项目组可根据需要操作元数据管理系统，测试环境的元数据不做为下游元数据的来源。
	待发布环境
待发布环境为受控环境，操作人员必须满足相应的流程规定方可进行相应的操作。该环境对个项目负责人开放，用于提交各自上线方案中涉及的数据结构变更等应用。
	生产环境
生产环境元数据完全是生产系统实际情况的反映，其数据的更新依赖于元数据采集过程，可采用自动采集或手动采集过程，但原则上不允许手工调整，最大程度保证其对实际环境的真实反映。
元数据的管理流程在上文中介绍的三个独立的元数据管理环境展开。系统上线之初三个环境的元数据将通过自动采集功能，统一进行元数据采集，此时三者存储的元数据都与生产环境完全一致。而后相关操作则遵从管理流程进行。
8.2.3	实施效果
元数据管理范围纳入了全行的信息系统，通过模型变更管理流程实现了上游系统自动发送变通知下游系统，为IT系统变更、设计、开发、上线管理提供了IT支撑。

背景与问题
在大数据平台一期基础上通过数据治理工具及方法，完善个人客户账户信息，提升客户信息完整性，真实性，规范性，并实现客户数据可视化、数据质量监控、数据安全管理、数据地图管理的全流程管理，同时实现外部数据治理的线上管理。
8.3.2	使用产品与方案
数据管理平台功能架构包括：客户数据地图、客户数据查询、疑似客户数据管理、客户数据治理、数据质量管理模块、元数据资产管理模块以及系统管理模块等，其功能架构示意图如下所示：
 
	客户数据地图：数据地图包括客户完整信息展现、客户信息脉络、数据地图概览、影响和血统分析。
	客户数据查询：客户查询包括客户数据信息查询、客户数据分类检索、客户数据来源查询、客户数据信息项安全等级查询、客户数据质量查询。
	疑似客户数据管理：疑似统一客户数据管理模块包括规则管理、疑似数据集管理模块、数据导出、疑似数据比对。
	客户数据治理：客户数据治理是针对数据质量监控和疑似统一客户数据展开专项治理的应用功能。 
	数据质量管理模块：数据资产质量管理是对资产进行质量检核和反馈资产质量问题的主要功能模块，数据资产质量管理包括数据质量检核规则的管理，基于数据标准的数据规则定义自动的配置检核功能、数据质量检核调度、数据质量问题数据查询等功能。
	元数据资产管理模块：元数据资产管理是数据资产管理的基础，对数据资产管理提供原子粒度的功能支持，如：元数据资产存储管理、元数据资产维护管理、元数据资产质量管理和基于元数据视图管理的资产组织管理。
	系统管理模块：系统模块是数据管理平台系统级的功能，包括用户管理、菜单管理、菜单权限管理、数据权限管理、功能管理和日志管理。
8.3.3	实施效果
通过搭建客户数据管理平台，对接大数据平台实现了对客户信息查询，包括客户基本信息、客户家庭信息、产品持有信息的自定义查询。支持用户通过资源配置管理，实现对页面布局、页面显示信息项管理以及大数据平台中的数据表查询的逻辑配置管理。在数据质量模块中完成了疑似同一客户查询，能够基于不同的疑似判断规则实现对疑似客户筛查。

背景与问题
某证券公司数据治理存在一些问题，包括显性的应用场景不多、管理范围较窄等问题，具体如下：
1、首先，由于缺乏企业级的数据资产管理，架构部门就不能深入的了解企业现状（不清楚企业数据都在哪里），针对数据架构重构缺乏依据，规划困难；
2、其次，数据应用范围窄，应用不方便
1）原有的数据架构决定了只有数据开发人员才能很好的应用平台，数据平台往往成为数据部门自己的工具
2）业务人员无法直接接触到数据，不能充分了解现有数据范围，把业务和数据有效结合，业务人员创造性不能充分体现；
3、再次，由于数据缺乏治理，无规范、 质量低等，进一步加剧数据应用困难，找不到数据、找不到能用的数据、找不到没有问题的数据。另外，即使发现了问题，也没有相关的手段进行认责，保证问题的最终解决。
因此，需要一套完善的数据资产管理平台解决数据的管理、应用、治理的难题。
8.4.2	使用产品与方案
围绕风险管理数据标准、数据质量、元数据管理，初步建立起风险管理数据领域的数据治理制度、流程和规范，以及配套落地的管控平台。重点对风险管理平台提供的相关原始数据及指标（约400个规模）数据进行了治理。
 
提供风险管理数据元数据管理功能，实现自动采集、血统关系、影响分析、变更管理、元数据控制等，建立风险管理数据地图。
提供风险管理数据指标管理功能，保证风险管理相关指标的准确性。制定风险管理平台中核心数据质量检核规则，提升风险管理数据质量。
8.4.3	实施效果
切实解决了公司风险管理所要求的数据治理问题，初步探索出数据治理实施及落地的方法。项目通过咨询和平台建设两种方法手段，初步形成了数据治理组织架构建议、数据管理流程、数据管理制度以及数据标准，搭建了覆盖元数据、数据质量、数据标准的管理平台。
1、组织架构：形成了以数据治理委员会、数据治理工作组、数据治理开发团队为基础的三层组织架构建议，分别用于决策、管理和执行；通过组织制度的合理设计，对数据治理后续开展提供有力保障；
2、管理流程和制度：从数据标准、数据质量和元数据三个维度形成对应的管理流程和办法；通过规范流程建设，指导后续数据治理日常操作；
3、数据标准：共梳理风险类指标240个；梳理8个主题基础标准，包含信息项标准272个，通用代码51个；通过数据标准建立，提高数据定义与口径的一致理解，减少沟通成本，规范未来数据操作；通过数据标准落地

背景与问题
随着大数据时代的来临，数据的重要性日愈显著，企业需加强数据管理，提升数据质量。近几年，某航空公司数据管理存在诸多问题，尚未建立统一的管理体系，在数据架构、数据标准、数据规则、数据管控等方面缺乏整体规划。建设了各种数据集市、数据仓库，但是没有解决数据一致性问题，存在找不到数据在哪里的问题，业务指标口径不一致问题等等，数据质量堪忧。基于这些问题，需要统一的数据资产管理平台，通过数据标准梳理、元数据管理、数据地图建设，进而提升数据质量。
8.5.2	使用产品与方案
通过实施数据资产管理平台一期，提升航司在业务发展中数据支撑能力，增强航司在行业中的竞争力。数据资产平台功能架构图如下所示：
 
元数据管理：通过系统自动化盘点元数据，进行数据资产的多维搜索；通过元数据的完整性检查，监控上下游系统对数据字典维护的完整性；通过元数据标签管理，识别敏感信息系统和字段，为信息安全提供有效支撑。
数据标准管理：包含数据标准的发布、数据标准维护等。以数据标准为中心，进行与数据质量标准，质量规则、元数据、参考数据标准的关联。
数据质量管理：通过数据质量标准制定质量规则，进行数据质量检核，发布质量任务，之后数据提供者分析数据问题，进行问题反馈，从而提高数据质量。
数据服务管理：采集SOA服务信息，将服务分为企业级（数据中台）、领域级服务，针对企业级数据服务提供对数据服务的溯源分析。数据消费者可在平台进行服务的申请。
8.5.3	实施效果
数据资产管理平台为数据治理体系的建设提供有力支撑，是盘、规、治、用的落地。通过元数据管理、数据标准管理、数据质量管理、数据服务管理等功能模块，为数据消费者、数据管理者、数据提供者提供了工具平台支撑，有效满足数据消费者理解数据、使用数据，数据管理者、数据提供者管理、监控数据的工作需求。使企业数据资产完全可视化，一目了然。

背景与问题
2015年某电力公司根据自身数据管理需要，基于数据仓库和大数据平台，建设了配套的数据管理平台，实现了元数据采集、数据检索、链路分析、变更管理和数据运维管理等方面的基础功能。在平台应用过程中，根据数据管理需要，仍需在元数据采集范围扩展、数据链路延伸分析、数据资源探索以及数据资源全过程全景可视化等方面完善和提升。典型问题体现在以下方面：
1.数据资产从产生、存储、流动、使用直至备份销毁的过程不清晰；缺少构建数据资产地图，将数据资产纳入可视化的统一管理界面，来实现数据资产管理工作的可视性、全面性和统一性。
2.数据质量监控环节不完整，通过人工检查等数据质量的机制，不能及时、精准、有效的定位和消除数据资产缺陷。 
3.未建立配套的组织机制、管理标准、工作流程和信息支撑，实现数据资产管理工作的标准化、规范化、常态化。
8.6.2	使用产品与方案
在项目中以元数据平台为基础，搭建了数据管理管理应用，通过将SG_CIM、数仓模型和ODPS物理模型纳入数据模型管理工具，实现类图关系、模型关系和物理模型关系的可视化展现和查询。建立总部用户、省公司用户对各类模型基本信息、关联维护以及模型的统计、分析等功能。通过调用元数据仓库的服务，实现数据模型工具与元数据管理工具的互联互通。
数据管理工具集包括元数据、数据模型管理、数据资源可视化分析、数据探索、数据管理服务、数据全过程管理、系统管理几个部分。
 
主要功能分为以下几点：
（1）数据模型导入导出
对EA模型设计工具导出的XML文件，导入到数据模型管理工具中。用户在数据模型管理工具中，对类、属性名称、描述进行维护后，可以导出到EA工具中。形成数据模型管理工具与EA模型设计工具对数据模型的闭环管理。
（2）模型可视化展现
对采集到数据模型管理工具中的业务模型类图、数仓模型类图进行图形化展现。
（3）数据模型关系检查
检查SG_CIM与物理模型映射关系，统计实体类中没有建立与物理模型表关系的实体类数量。
检查数仓模型与物理模型映射关系，统计实体类中没有建立与物理模型表关系的实体类数量。
检查物理模型表与数仓模型、CIM模型间映射关系，统计物理模型表中没有建立关系的表数量。
（4）数据模型统计分析
主要包括：按主题统计CIM模型、数仓模型的实体数量，按照区域层次统计ODPS中表的数量等。