理资产、治数据，一体化大数据治理
为什么需要数据治理?
大数据不是凭空而来，1981 年第一个数据仓库诞生，到现在已经有了近 40 年的历史，而国内数据平台的建设大概从 90 年代末就开始了，从第一代架构出现，到现在已经历了近 20 年的时间。
1
在这 20 年的时间里，国内数据平台实施者受尽折磨，交付数据项目是出了名的脏活累活。
忽视数据治理给数据平台建设带来了不少问题。随处可见的数据不统一、数据质量差，以及难以完成的数据模型梳理等这些基础性数据问题已经严重限制了数据平台的发展，与此同时，数据应用在商业上难以崭露头角。
数据治理的难点痛点，归纳有以下几点：
数据采集难：数据的形态多样化，给数据采集带来很大难度，使得数据难以汇聚。
数据整合难：数据的来源多样化，很难理清数据之间的关系，进而难以整合。
数据共享难：数据间壁垒高筑，数据权限不明晰，使得数据无法实现共享交换，难以推进数据的流通。
数据发现难：大量的IT系统，众多厂商的参与，系统间数据标准不统一，很难找到真正需要的数据。
数据使用难：数据涵义不清晰，业务属性不明确，数据难以利用，难以发挥出数据的价值。
数据监管难：少标准、缺规范，难以有效管理数据，难以保证数据的质量。
2
数据治理的对象
在 20 余年的信息化建设中，无论是政府还是企业都积累了大量的信息化资产。这些信息资产，从不同的维度，我们把它分为业务资产、技术资产、数据资产三部分，这些信息化资产贯穿数据的全生命周期。所以说，数据治理，不仅仅是治理数据本身，而是治理这些和数据全生命周期相关的信息化资产。
信息化资产包括内容
业务资产：业务资产指的是业务的术语，业务的规则，业务上的理解。
技术资产：技术资产存在于业务系统、数据库服务器、文件服务器里面，指的是技术设计类的资产。
数据资产：数据资产指所有的针对于数据库表结构的设计、代码表的设计及其相关数据。
对这三大类资产的管理过程，就是我们常说的数据治理，具备又包含数据的权限责任管理、数据的规则管理、数据的质量管理、数据的安全管理等。
3
东软大数据治理一体化解决方案
在 20 余年的信息化建设过程中，东软通过诸多行业数据类项目的实施经验的不断积累，从元数据、主数据、数据标准、数据质量到数据处理、资源目录、数据交换和数据安全，提供全面的数据治理解决方案，打通数据治理全流程，为大数据应用构建提供支撑，同时，在各个领域丰富的解决方案实践经验也为项目的成功提供了保障。
在数据治理的策略上，东软采用先理后治的方案，实现数据标准化、流程规范化、治理常态化、价值可视化、监管智能化的数据治理。
东软数据治理的“理”指的是统筹规划，“治”指的是贯彻执行。
具体到内容上，“理”包括：
理系统：梳理已有业务系统、数据库、文件存储等信息，输出数据连接，形成技术资产。
理数据：发掘数据表、文件、视频、图片等数据，描述数据的结构信息，形成数据资产。
理关系：分析表与表、文件与文件、系统与系统等关系，形成数据资产及资产间关系。
理标准：识别主数据、数据元、代码、术语、规则等，形成业务、数据及管理资产。
理流程：规范上报数据、转换清洗、标准变更流程，明确权责，形成业务及管理资产。
理目录：整理资产清单，按照业务、技术等维度制定目录，形成数据访问同一入口。
具体到流程上，“理”包含三种方式
理的目的是为治，数据治理的第二阶段是基于理出的标准规范贯彻执行。
治的具体内容包含
治汇聚：监管采集流程，整合多源数据，统一数据存储，形成数据中心。
治质量：对齐标准及数据，基于数据标准对数据进行校核，生成问题库，形成质量报告。
治清洗：去除重复数据、补充不完整数据、修正错误数据，形成主数据。
治加工：发掘数据价值，转化数据为信息，对数据进行标签处理，形成数据洞察。
治安全：识别敏感数据，明确责任人及权限，对数据进行分类分级，形成安全策略。
治共享：构筑数据共享通道，提供数据访问统一入口，形成自服务的共享平台。
东软大数据治理的目标
数据标准化
消除歧义，剔除重复
补全缺失，修正错误
统一码表，理清关系
流程规范化
规范数据生产，统一来源
规范数据变更，统转
规范数据共享，统一出口
治理常态化
建立长效工程，循序渐进
确立业务目标，小步快跑
树立治理文化，长治久安
价值可视化
量化指标，价值可衡量
资产全景，价值可展现
全链分析，价值可跟踪
监管智能化
数据操作留痕，可追溯
安全权责明晰，可监测
差异智能监测，可觉察
东软大数据治理解决方案使用系统的方法来解决政府及企业如今所面临的数据治理难题，提供一体化的解决方案，用来透明地管理全行业各类系统中庞杂的数据，形成一套标准、规范、准确、干净、完整的数据资产。
来源：东软平台产品 https://platform.neusoft.com/
不治理会破产吗？不好说。
我最近的一篇文章，就是讲数据治理架构的，还有很多文章都是说数据治理方法的，这里就不多说了，想要做好，能写上万字。
但我觉得做数据治理前，一定要想好是不是真的要做这个，也就是要清楚架构。
我整理了几张架构图，应该能让你理解地深刻一点。
基本上包含了数据治理成功的要素，图比文字清楚很多。
在企业数据建设过程中，大数据治理越来越受到企业的重视。在数据建设治理的过程中，对企业的IT治理观念和数据治理项目实施团队要求都比较严格，对于企业来说，企业自身IT信息化建设的基础建设能否支撑当前的数据分析和数据治理，是企业能否进行数据治理的必要条件。
另一方面，大数据治理需要行业经验丰富的项目实施团队与企业业务部门一同深入挖掘企业的元数据，不同行业数据的类型都是各不相同的。首先要分析企业是否具有元数据，以及数据类型、字段是否缺失，通过数据来反推业务，共同升华企业业务，保证业务的完整性、合理性，当然在数据梳理的过程中各个业务部门（业务系统方）的配合能否到位，也起着举足轻重的作用。
有了数据后，数据是否统一、精准？线上线下的数据是否同步？多数企业信息化是存在遗漏的，部分业务数据仍在线下运转来支撑企业业务的正常运行，那么线下数据的处理就是一大难点。这个问题通常可以使用数据上报平台将线下的数据录入到主数据平台中，通过主数据治理将数据进行清洗，按照对应的标准治理，将数据做到统一、准确、由量变到质变，为整个企业信息化平台提供精准、统一的数据。
数据治理后在业务层面的数据可以说是隐形的，此时便极大地凸显数据分析治理的重要性，通过数据可视化来进行数据的分析展现，依次进行数据分析、预测问题以及发现问题所在，进而治理问题，为企业高层能够准确的把握行业走向，运筹帷幄提供指南针，最终完成企业基于大数据的数据治理。
随着新的管理思维及软件的出现，企业的发展，数据的量级、多样性以及分布的各个系统、平台等都发生了不小的变化。这时分散在系统中的数据就会产生大量的数据冗积沉淀，那么便出现了新的问题数据治理。
更别说伴随着数据的大量冗余，往往会出现以下问题：1.新的分析需求越来越多，响应不及时；2.不能轻易修改业务逻辑，一修改很多报表就不可用；3.随着人员的流动，早期开发的逻辑不敢随便动。又或者低代码想要通用，后面的程序怎么设计？通用的控件，即时生成的数据存储，是否总得有个能够容纳所有数据结构的数据仓库？
如果没有一个相对稳健的数据仓库，必然会导致一个问题，那就是就是所有表、字段都是机器定义的 ，无法从数据库层面直接解读。换言之，数据冗积无法或非常难进行数据治理。因为那些表名、字段名根本没人能读懂。虽然有些厂商做了一些业务语义和表、字段名之间的映射，但是即便是这样，也徒增管理难度。
产品优势
面对数据治理，我们有成熟的企业级数据仓库可以解决数据治理难题，同时我们也应用了低代码的敏捷能力快速原型可视化设计建模、零代码的数据仓库建模；还有维度与指标体系管理、血缘分析、ETL 调度平台等等更多的产品亮点。无需人工开发的数仓，不仅更加敏捷，更使企业级的数仓高度可扩展的同时不那么繁重。
更别说基于BI的数据仓库的出现可以打通分散在企业不同系统间得数据，消灭数据孤岛，改善数据治理。
派可数据的 BI 可视化分析平台在兼具了低代码的敏捷能力的同时，也改善了数据治理难题。帮助企业降本增效的同时提高企业的决策能力，用数据支撑企业的战略规划，让企业的数字化转型走的更加通畅。
读过很多相关资料，个人感受：如果站在数据层面谈数据治理，则与数据管理就没本质差别。
换言之，看到很多数据治理的文章，所以的内容，无非就是数据管理的那套内容，换个名词，或者更细化，或者重新组织一下等等，这，都不是数据治理的正确方向。
堆砌理念和名词，既没有结合应用场景，更没有实质可落地内容，是在做文字游戏，耗费作者自己精力做无甚价值的无用功，更耽误太多读者的宝贵时间。
期待更多有价值的高质量精品文章出现。
忽视数据治理给数据平台建设带来了不少问题。随处可见的数据不统一、数据质量差，以及难以完成的数据模型梳理等这些基础性数据问题已经严重限制了数据平台的发展，与此同时，数据应用在商业上难以崭露头角。
数据治理的难点痛点，归纳有以下几点：
数据采集难、数据整合难、数据共享难、数据发现难、数据使用难、数据监管难。
在数据治理的策略上，东软采用先理后治的方案，实现数据标准化、流程规范化、治理常态化、价值可视化、监管智能化的数据治理。
东软数据治理的“理”指的是统筹规划，“治”指的是贯彻执行。
具体到内容上，“理”包括：理系统、理数据、理关系、理标准、理流程、理目录
治的具体内容包含：治汇聚、治质量、治清洗、治加工、治安全
大数据时代的大数据，叫数据治理不太对，应该叫做数据分析应用。因为当数据汇总呈现出来后，只会是一堆数据，不懂的人，始终不知道有什么用。
举例子，我是做亚马逊大数据分析的，公司的技术部可以把亚马逊的所有产品的数据汇总下来，包括所有商品的标题、图片、描述、客户评价、价格、销量等等。
实际上，当所有数据整理出来后，还是没有人知道有什么用。但如果把数据分析成为各个行业，各个品类的分析报告。
当对方企业是生产一个灯饰的，那么应该生产什么颜色，生产什么尺寸，怎样推广，怎样卖，就变成是一个很有价值的数据分析了。
基于大数据的数据治理如何做？您这个问题，范围太大了。我是从事呼叫中心项目建设。因为我做过政府12345呼叫中心项目，我就站在市民诉求大数据的数据治理来说吧。
我们的系统支持通过12345电话受理、客服受理、12345官网受理、在线客服受理、邮件受理、微博受理、APP受理等。我们也称为多渠道受理。功能如下：
诉求工单过来到相关部门受理，这一个过程是存在数据治理，各种类型的诉求工单，要如何进行分类，派发到相关的部门。
系统根据诉求工单的相关问题进行归类，整理，派发到相关的部门。部门进行合理回复和解答。
受理部门根据诉求问题再次派发人员进行受理，回复。返回12345市民服务中心。
12345市民服务中心根据部门的诉求处理结果，对市民进行回访，对部门进行评价，是否满意。
根据诉求处理结果进行标记、归档，热点问题，优秀回复，常识，加入知识库等。
这个就是对市民诉求大数据的治理过程。
对于在大数据的数据治理，每一个行业，每一个数据，治理都不一样。如果您有什么讨论，可以评论也可以私信我。
数据治理不仅需要完善的保障机制，还需要理解具体的治理内容，比如我们的数据该怎么进行规范，元数据又该怎么来管理，每个过程需要哪些系统或者工具来进行配合呢？这些问题都是数据治理过程中最实际的问题，也是最复杂的问题。
我们从数据治理核心领域来看一下这个问题：
1.数据模型
数据模型是数据治理中的重要部分，合适、合理、合规的数据模型，能够有效提高数据的合理分布和使用，它包括概念模型、逻辑数据模型和物理数据模型，是数据治理的关键、重点。数据模型包含三个部分，数据结构、数据操作、数据约束。
数据结构。数据模型中的数据结构主要用来描述数据的类型、内容、性质以及数据间的联系等。数据结构是数据模型的基础，数据操作和数据约束都基本是建立在数据结构的之上的。不同的数据结构有不同的操作和约束。
数据操作。数据模型中的数据操作主要用来描述在相应的数据结构上的操作类型和操作方式。
数据约束。数据模型中的数据约束主要用来描述数据结构内数据间的语法、词义联系、他们之间的制约和依存关系，以及数据动态变化的规则，以保证数据的正确、有效和相容。
2.元数据管理
元数据分为业务元数据、技术元数据和操作元数据，三者之间关系紧密。业务元数据指导技术元数据，技术元数据以业务元数据为参考进行设计，操作元数据为两者的管理提供支撑。
业务元数据。业务元数据是定义和业务相关数据的信息，用于辅助定位、理解及访问义乌信息。业务元数据的范围主要包括：业务指标、业务规则、数据质量规则、专业术语、数据标准、概念数据模型、实体/属性、逻辑数据模型等。
技术元数据。它可以分成结构性技术元数据和关联性技术元数据。结构性技术元数据提供了在信息技术的基础架构中对数据的说明，如数据的存放位置、数据的存储类型、数据的血缘关系等。关联性技术元数据描述了数据之间的关联和数据在信息技术环境之中的流转情况。技术元数据的范围主要包括：技术规则（计算/统计/转换/汇总）、数据质量规则技术描述、字段、衍生字段、事实/维度、统计指标、表/视图/文件/接口、报表/多维分析、数据库/视图组/文件组/接口组、源代码/程序、系统、软件、硬件等。技术元数据一般以已有的业务元数据作为参考设计的。
操作元数据。操作元数据主要指与元数据管理相关的组织、岗位、职责、流程，以及系统日常运行产生的操作数据。操作元数据管理的内容主要包括：与元数据管理相关的组织、岗位、职责、流程、项目、版本，以及系统生产运行中的操作记录，如运行记录、应用程序、运行作业。
很多初学者，对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线路去学习，学完往哪方面发展，想深入了解，想学习的同学欢迎加入大数据学习扣裙：805+127+855，有大量干货（零基础以及进阶的经典实战）分享给大家，并且有清华大学毕业的资深大数据讲师给大家免费授课，给大家分享目前国内最完整的大数据高端实战实用学习流程体系
3.数据标准
数据标准是银行建立的一套符合自身实际，涵盖定义、操作、应用多层次数据的标准化体系。它包括基础标准和指标标准（或称应用标准）。与数据治理其他核心领域具有一定的交叉，比如元数据标准、数据交换和传输标准、数据质量标准等。商业银行的数据标准一般以业界的标准为基础，如国家标准、监管机构（如国家统计局、中国人民银行、工信部）制定的标准，结合商业银行本身的实际情况对数据进行规范化，一般会包括格式、编码规则、字典值等内容。良好的数据标准体系有助于商业银行数据的共享、交互和应用，可以减少不同系统间数据转换的工作。数据标准的主要由业务定义、技术定义和管理信息三部分构成。
数据标准的主体构成
业务定义。业务定义主要是明确标准所属的业务主题以及标准的业务概念，包括业务使用上的规则以及标准的相关来源等。对于代码类标准，还会进一步明确编码规则以及相关的代码内容，以达到定义统一、口径统一、名称统一、参照统一以及来源统一的目的，进而形成一套一致、规范、开放和共享的业务标准数据。
技术定义。技术定义是指描述数据类型、数据格式、数据长度以及来源系统等技术属性，从而能够对信息系统的建设和使用提供指导和约束。
管理信息。管理信息是指明确标准的所有者、管理人员、使用部门等内容，从而使数据标准的管理和维护工作有明确的责任主体，以保障数据标准能够持续的进行更新和改进。
4.数据质量管理
数据质量管理已经成为银行数据治理的有机组成部分。高质量的数据是商业银行进行分析决策、业务发展规划的重要基础，只有建立完整的数据质量体系，才能有效提升银行数据整体质量，从而更好的为客户服务，提供更为精准的决策分析数据。
制度和规范。从技术层面上，应该完整全面的定义数据质量的评估维度，包括完整性、时效性等，按照已定义的维度，在系统建设的各个阶段都应该根据标准进行数据质量检测和规范，及时进行治理，避免事后的清洗工作。
数据质量评价维度
明确相应的管理流程。数据质量问题会发生在各个阶段，因此需要明确各个阶段的数据质量管理流程。例如，在需求和设计阶段就需要明确数据质量的规则定义，从而指导数据结构和程序逻辑的设计；在开发和测试阶段则需要对前面提到的规则进行验证，确保相应的规则能够生效；最后在投产后要有相应的检查，从而将数据质量问题尽可能消灭在萌芽状态。数据质量管理措施，宜采用控制增量、消灭存量的策略，有效控制增量，不断消除存量。
商业银行数据质量管理流程
5.数据生命周期管理
任何事物都具有一定的生命周期，数据也不例外。从数据的产生、加工、使用乃至消亡都应该有一个科学的管理办法，将极少或者不再使用的数据从系统中剥离出来，并通过核实的存储设备进行保留，不仅能够提高系统的运行效率，更好的服务客户，还能大幅度减少因为数据长期保存带来的储存成本。数据生命周期一般包含在线阶段、归档阶段（有时还会进一步划分为在线归档阶段和离线归档阶段）、销毁阶段三大阶段，管理内容包括建立合理的数据类别，针对不同类别的数据制定各个阶段的保留时间、存储介质、清理规则和方式、注意事项等。
数据生命周期中各参数间的关系
从上图数据生命周期中各参数间的关系中我们可以了解到，数据生命周期管理可以使得高价值数据的查询效率大幅提升，而且高价格的存储介质的采购量也可以减少很多；但是随着数据的使用程度的下降，数据被逐渐归档，查询时间也慢慢的变长；最后随着数据的使用频率和价值基本没有了之后，就可以逐渐销毁了。
6. 数据分布和存储
数据分布和存储主要涵盖了数据如何划分和存储，总行系统以及总分行数据如何分布，主数据及参考数据（也称为副本数据或者辅数据）如何管理。只有对数据进行合理的分布和存储，才能有效的提高数据的共享程度，才能尽可能的减少数据冗余带来的存储成本。
通常情况下，综合数据规模、使用频率、使用特性、服务时效等因素，从存储体系角度，可以将商业银行的数据存储划分为四类存储区域，即交易型数据区、集成型数据区、分析型数据区、历史型数据区。
1、交易型数据区。交易型数据区包括渠道接入、交互控制、业务处理、决策支持与管理等各类联机应用数据；存储客户自助或与银行操作人员在业务交互过过程中产生的原始数据的存储，包括业务处理数据，内部管理数据和一些外部数据，其存储的是当前状态数据。
2、集成型数据区。集成型数据区包括操作型数据（OLTP）和数据仓库型数据（OLAP）。
3、分析型数据区。分析型数据主要是用于决策支持与管理的各类集市应用的数据。为了对业务执行情况进行深入分析，需要对原始数据进行进一步汇总统计分析，统计分析结果用于最终的决策展示，因此分析型数据区存储了这些统计、分析模型结构的指标数据。
4、历史数据区。这里存储了所有近线应用、归档应用、外部审计数据平台应用等的数据，主要满足各种历史数据归档后的数据保管和数据查询服务。
数据存储布局
7.数据交换
数据交换是银行进行数据交互和共享的基础，合理的数据交换体系有助于银行提高数据共享程度和数据流转时效。一般商业银行会对系统间数据的交换规则制定一些原则，比如对接口、文件的命名、内容进行明确，规范系统间、银行系统与外部机构间的数据交换规则，指导数据交换工作有序进行。建立统一的数据交换系统，一方面可以提高数据共享的时效性，另一方面也可以精确掌握数据的流向。
8.数据安全
商业银行的重要且敏感数据大部分集中在应用系统中，例如客户的联络信息、资产信息等，如果不慎泄露，不仅给客户带来损失，也会给商业银行带来不利的声誉影响，因此数据安全在数据管理和治理过程中是相当重要的。
数据存储安全。包括物理安全、系统安全存储数据的安全，主要通过安全硬件的采购来保障数据存储安全。
数据传输安全。包括数据的加密和数据网络安全控制，主要通过专业加密软件厂商进行规范设计和安装。
数据使用安全。需要加强从业务系统层面进行控制，防范非授权访问和下载打印客户数据信息；部署客户端安全控制工具，建立完善的客户端信息防泄漏机制，防范将客户端上存储的个人客户信息非授权传播；建立完善的数据安全管理体系，建立数据安全规范制度体系，组建数据安全管理组织机构，建立有效的数据安全审查机制；对于生产及研发测试过程中使用的各类敏感数据进行严密管理；严格与外单位合作中的个人客户信息安全管理等。
9.数据服务
数据的管理和治理是为了更好的利用数据，是数据应用的基础。银行应该以数据为根本，以业务为导向，通过对大数据的集中、整合、挖掘和共享，实现对多样化、海量数据的快速处理及价值挖掘，利用大数据技术支持产品快速创新，提升以客户为中心的精准营销和差异化客户服务能力，增强风险防控实时性、前瞻性和系统性，推动业务管理向信息化、精细化转型，全面支持信息化银行的建设。
唉，大家都在说着大道理，发着广告，不觉得很无聊吗？现在这个大数据时代已经变成一个数据劳动力的时代了，所有的数据工厂，数据工程师和生产线的劳动者打工人没啥区别。
