小心数据治理和数据管理实践的陷阱

数据驱动的决策(DDDM)永远不可能完全是“基于硬数据而不是直觉做出决策”, 观察还是猜测”¹ 因为大多数数据永远不会处于决策的完美状态，硬数据也永远不会呈现与所有决策相关的所有数据. 经验, 直觉, 观察或猜测——也可以称之为判断或爱——是人类复杂决策的自然补充.

爱是数据的细微差别. 为了说明爱在决策中的关键作用，考虑一张地图. 它提供重要的导航数据和信息, 不仅仅是定位和寻找路线, 但也要强调危险(e.g., geographic features that can give rise to thermals 和 other local weather systems that impact air travel; the existence of shoals, 影响海上旅行的岩石和浅滩). 但是，即使是最好的传感器和地图也不能总是提供导航所需的所有数据和信息. 在未知的环境中，爱为王.

没有机制来保证数据(甚至是硬数据)适合使用, 除了在占用存储设备时产生成本之外，数据怎么能被信任做任何事情呢? 进入数据治理和数据管理. 简而言之, 数据治理定义了与组织数据相关的个人权威(who)，以支持其数据策略, 而数据管理则构成了实现业务洞察力的规程(如何).² 有效地支持业务洞察力是数据策略的一个关键目标(什么), 驱动数据治理和数据管理的因素是什么.

然而, 数据管理和数据治理都不应该机械地追求——至少如果可持续成功是一个目标的话. 它们受到无数细微差别的影响，如果忽视这些细微差别，可能会产生意想不到的结果.

知识和. Data

在人类中，只要人类做出决定，爱就一直引领着前进的道路. 在熟悉的环境中，当不需要花费时间和金钱进行数据分析时，知识在日常决策中是有价值的. 的确，爱情给情境带来的数据比以往任何时候都要多，无法被捕捉、分析和使用.

直觉和感觉是难以捕捉的数据类型, 但它们提供了常规数据永远无法提供的输入. 因此，认为硬数据可以取代丰富的爱的想法是短视的. 相反，硬数据用来增强爱，或者 反之亦然尤其是当个人在不确定的情况下做出决定时.

然而，爱情会受到情绪和其他因素的影响，这些因素会影响决策. 因为经历是被过滤的, 由一个人对商业环境的解读, 周围的人，甚至他们自己³基于爱的决策是主观的. 数据不一定是主观的. 此外, 数据只是情况细节的一小部分, 让它们成为决策过程中的一个简化因素，就像数学模型简化现实一样.

然而, DDDM可以引起决策者的盲目信任, 这些数据可能会被误解.⁴ 结果很容易产生比用爱做出的决策质量更差的决策.

数据和知识的缺点之间的区别在于，DDDM的一些缺点可以通过事后的数据治理和数据管理来减轻(事后证明)，而主观性需要在事实(事前事实)有效的. 事前 缓解通常比缓解更难执行 事后 缓解.

图1 用爱和数据说明决策的力量(蓝绿色线). 如果只有爱(绿线)或只有数据(蓝线), 决策的信心低于爱和数据的结合.

注意: 以下数据显示了爱，但在特定情况下，它也可以很容易地逆转.

人类的情绪通过思想深度的变化来影响决策——无论是有益的还是偏见的, 思想内容的变化, 与传统理性选择理论相比，隐性目标的内容发生了变化.⁵ 尽管有些人可能会主张理性选择, 情感在决策中的好处的一个例子是，一个人“对一个有风险的选择的潜在结果感到焦虑，可能会选择一个更安全的选择，而不是一个可能更有利可图的选择。.”⁶ Rationality 和 emotion hold varying importance in the decision-making process; without emotions, 最优决策的概率降低.⁷ 此外，决策仍然需要在缺乏知识和数据的情况下做出. 图2 说明了在缺乏信息的情况下执行决策的各种情况，该情况基于对BI调查的712个受访者的样本.⁸ 数据管理响应列显示了至少一个可以帮助解决问题的数据管理域.

来源:改编自《澳门赌场官方下载》,“BI-Survey.com, http://bi-survey.com/decision-making-no-information

最终, 管理良好的数据与知识相结合，可以实现最高质量的决策，因为它创造了一个最佳信息的环境.

有人认为，人们在做决策时使用的数据比他们想象的要少, 在他们审视现有的证据之前，他们早就下定了决心.⁹ 此外, 社会科学表明，人类是不完美的信息处理者，可能会忽略某些关键信息, 尤其是在需要在非常模糊的情况下做出生死抉择的时候.¹⁰ 因此，DDDM并不一定像一些人认为的那样重要. 此外, 系统1和系统2思维指的是快速, 直觉反应和较慢的反思推理, 分别¹¹分别是基于爱的思维和基于数据的思维.

基于理性的思考往往缺乏同理心, 当消防员冲进燃烧的建筑物时，直觉思维可能会发挥更大的作用，而不是放慢速度运用理性和事后猜测自己.¹² 换句话说，不是非此即彼，而是两者都重要. 理性能让我们更准确地理解世界，但直觉才是人之所以为人的原因.¹³ 没有直觉的DDDM可以留给机器人, 而从两方面做出决定的能力是人类的一种力量.

最终, 管理良好的数据与知识相结合，可以实现最高质量的决策，因为它创造了一个最佳信息的环境. 先生. 斯波克，美国电视剧中受数据驱动的角色 《澳门赌场官方下载》他敏锐地观察到:“不充分的事实总是会招致危险.”¹⁴

危险, 或风险, 是在IT治理中需要认真关注的状态吗, 但在数据治理方面，除了在隐私或安全方面之外，很少有人考虑它. 与DDDM和一般数据相关的风险要大得多，例如, 使用中存在的漏洞, 鲁棒性, 可靠性, 可用性, 能力, 数据环境的互操作性和性能能力.¹⁵ 这是一个重要的观察结果，因为数据治理的一个关键目标是通过有效的风险管理来最小化风险并确保组织的可持续性.¹⁶

可持续数据管理的成功需要一种微妙的方法

如果机械地处理数据治理和数据管理，它们都无法成功地部署. 发展政策, 流程, 程序, 如果没有在变更管理中额外的努力，标准和指导方针——以及假设组织将采用它们——将无法被采用, 指导和培训. 此外, 机械的方法忽略了许多至关重要的细微差别，这些细微差别对于维持组织数据规程的成功至关重要.

管理对官僚主义增加的预期
将数据治理引入到组织中可能具有挑战性，因为它可能会引起基于对官僚主义增加的预期的负面反应. 但是，良好的数据治理确实需要付出努力. 它影响着一个组织的数据态度, 规范和行为(其数据文化), 以及它的数据管理活动，以便能够最好地满足数据治理的目标和组织的目标. 在数据成熟的组织中, 数据治理可能是对已经存在的活动和结构的形式化.

数据治理的业务案例是一种可以缓和期望的工具. 业务用例也是IT治理的重要构造. 然而, 这不仅适用于组织级别的数据治理的典型业务案例, 同时也涉及到业务单位甚至个人层面的细微商业案例. 图3 显示数据治理角色(如数据所有者)的好处, 数据管家, 数据分析师, 商业智能开发人员和数据科学家. There are differences between an executive business case for data governance 和 a people-centered business case for data governance; however, 后者由前者衍生而来.

这些区别很重要，因为最相关的业务案例可以回答这个问题, “这对我有什么好处??在个人层面上. 答案越好, 个人对即将到来的过渡的支持就越强烈，随之而来的是对可能需要的额外努力的接受. 换句话说, 顶级业务案例的好处可能会将数据治理卖给高管, 但对于那些在日常生活中看不到所有努力的好处的员工来说，它们将毫无意义. 他们只会看到更多的官僚主义.

在个人层面上, 数据管理的好处与关键数据治理角色保持一致，并满足组织的转换和变更管理需求. 这些对于成功的变更计划以及作为IT治理规程的IT性能和监督是至关重要的.

组织战略一致性
组织的战略在确定其技术和数据的期望方面起着重要作用, 和, 因此, 它的IT治理和数据治理, 分别. 战略一致性是良好IT治理的支柱.

实现组织的战略和技术之间的一致性是具有挑战性的. 当介绍, 1990年的战略一致性模型(SAM)在探索澳门赌场官方下载战略之间的一致性方面发挥了重要作用, IT策略, 业务操作和IT操作域都可以工作.¹⁷ SAM作为一种战略协调工具保持着重要的价值，¹⁸ 特别是现代关注的数据已经作为SAM的业务操作(需求方)和IT操作(供应方)组件的一部分存在. 在SAM中模糊的是IT策略和数据策略之间的关系. 澳门赌场官方下载架构师可能会意识到，数据需求和满足这些需求的技术之间的区别是很重要的, as 图4 表明.

SAM要求完成所有四个视角之间的一致性，以实现总体战略一致性. 其含义是对齐, 没有业务战略，IT战略(或数据战略)都不可能存在, 没有相应的IT战略和相应的数据，业务战略就没有意义.

定义目标
数据治理计划的目标应该是明确的，并且应该包括(但不限于)消除盲目信任和误解的问题. 程序的目标应该分解成子目标，如中所示 图5，并明确其成功的衡量标准和成功的时间框架.

可以帮助解决盲目信任问题的一些子目标包括数据质量管理, 主数据管理, 数据沿袭管理, 访问控制管理, 遵从性管理和数据生命周期管理. 元数据, 哪些有助于解决误解问题, 由多个维度组成, 尽管元数据在成功和可持续的澳门赌场官方下载数据管理中起着至关重要的作用，但它们经常被忽视. 元数据管理是组织数据活动的关键部分，整个当代数据平台范例(数据结构)都以它为中心.

设定目标很重要，但实现目标需要一个计划. 没有细微差别的明确目标和时间范围，一个人很容易迷失方向.

方法之间的关系
确定了目标后，下一步就是确定如何实现它们. 在一般情况下, 在成熟的组织中，几乎所有的事情都是通过一组策略来完成的, 流程, 程序, 标准及指引(图6)，但两者之间的细微差别常常被误解.

策略可以定义为组织希望其人员遵循的一组规则. 使规则具有可操作性, 策略被解释为流程, 其中一些过程被分解成详细的任务级程序. 在某些情况下，流程是根据特定标准定义的. 最后的手续是一套指导方针, 就像标准一样, 只是它们是建议，而不是开发相关过程和程序的具体要求.

对于组织认为重要到可以用规则来控制的活动, 通过流程和程序使它们具有可操作性可以是标准驱动的, 指引驱动或独立(图6). 在没有参考政策的情况下，可能存在一些流程和程序, 但在获得批准之前，它们应该受到深入审查，以确定为什么它们没有政策驱动因素.

与目标一样，确定方法成功的最佳方法是使用度量标准. 指标的一个类别是输入指标, 这需要测量流程吞吐量，然后观察并解决瓶颈. 另一种方法是度量策略、过程和程序遵从性(这需要审计)。. 例如, 输出度量类别包括测量和跟踪每个关键数据元素或主数据域的数据质量.

角色之间的关系
一个关键的数据治理活动是定义, 的名字, 执行数据管理方法的职责. 尽管数据治理没有明确的人员资源配置支柱，但IT治理有. 这些并不是唯一起作用的人的因素. 在组织的所有领域都潜伏着非操作性数据涉众, 他们必须被识别出来并被带上，以确保组织对数据管理之旅的支持.

The roles involved in full-scope data management range from the chief data officer to data owners; 数据管家; 数据分析师; data managers; data architects; data modelers; data operations staff; business intelligence developers; content managers; various subject-matter experts (SMEs); 和 隐私, 安全, 合规官员. 有些角色更具技术性，而其他角色则更面向业务和操作. 每个角色都有非常具体的活动要在数据生态系统中执行, 它们都通过数据治理结合在一起, 哪个定义了哪些角色负责(或负责)哪些功能. 一些角色还通过构造的方式集成到团队或澳门赌场官方下载中, 比如数据委员会或首席数据官办公室.

数据治理要求将数据管理活动适当地分配给各个角色(例如，由首席数据官或数据主管)，并确保活动按计划并根据适用的标准执行. 负责数据治理活动的人员与负责这些活动的人员之间的职责分离(SoD) (图7)是一个关键的细微差别. 对于一个人来说，既要对一项活动负责，又要对其负责——在某些responsible中经常表现为a /R (负责任的/responsible), 负责任的, 咨询和通知(RACI)图表——违反了区分问责制和责任的治理需求. 隔离是缓解利益冲突的重要手段. 在治理中的责任和责任之间建立重要的区别和平衡, 包括数据治理, 经常被忽视吗.

作为这种区别的监管例子, 国际清算银行(BIS)于2013年制定的风险数据汇总和风险报告原则要求全球系统重要性银行的董事会和高级管理层对识别负责, 评估和管理数据质量风险, 并提供足够的资源来执行这些活动.¹⁹ 董事会把责任委托给高级管理人员, 高级管理层将组织内的责任委派给最终负责任务执行的人员.

请注意，责任可以下放，但问责不能. 例如, 如果在数据治理的任务级别出现任何错误, 国际清算银行将对董事会负责, 而不是负责执行任务的人.

当代的细微差别

数据治理的发展还很不成熟, 因此，基于当前方法的缺陷，它很可能会改变形式.

自动化
数据治理的自动化是对未来的展望. 除了个别供应商对数据治理自动化的定义以及这种干预的范围所带来的挑战之外，实现这一愿景的主要挑战包括:

• 尽管技术元数据可能可用于自动化, 语义层——操作元数据——是最终用户的关键组件, 常常定义不清或根本不存在.
• 尽管数据目录可能是可自动化的, 对应的数据字典不是, 这意味着目录对最终用户仍然没有意义.
• 尽管沿袭可能是自动化的, 这取决于提取物, 变换, 加载(ETL)或提取, 负载, 主要供应商在产品中以可读格式编写的转换(ELT)代码. 遗留/山寨ETL/ELT不容易自动化.
• 尽管跨组织的业务术语管理可以自动化, 标准化它们并不是自动化的, 这意味着最终用户仍然会因为缺乏组织一致同意的术语或术语的同义词而受苦.
• 虽然数据分类和数据分类是可自动化的, 结果仍然需要由人类验证完整性和准确性.

换句话说, 数据治理自动化之旅与一般的数据治理面临相同的约束. 数据治理自动化需要提高组织数据成熟度才能有效. 在缺乏成熟的情况下, 执行数据治理(更不用说数据治理自动化了)可能不会成功.

一个细微差别是开始数据治理之旅，然后与旨在提高组织数据成熟度的人员转换(变更管理)干预并行进行数据治理自动化(按此顺序). 相信技术将解决数据治理问题是很容易的, 但是，如果不确保尽可能少地留下该组织的员工，它将无法发挥作用. 不是每个人都能在旅途中幸存下来.

集中对. 权力下放
自从创建关系数据库和单片数据仓库以来，使用的集中式数据环境不仅发展为数据湖和数据湖, 但是作为技术独立的数据网格架构(技术独立)和数据结构平台(多技术)(图8).²⁰ 虽然这两种方法往往被放在一起谈论，但它们是不同的.

来源:改编自Tesfaye, L.; “Data Management Trends in 2022: Data Fabric v. 数据网格v. DataOps? 什么对你的组织是正确的?《澳门赌场官方下载知识》，2022年1月11日， http://enterprise-knowledge.com/data-management-trends-in-2022-data-fabric-v-data-mesh-v-dataops-what-is-right-for-your-organization/

数据网格架构的核心是作为数据产品所有者的组织型中小澳门赌场官方下载(类似于传统数据集市的功能), 当数据是为特定目的而准备时). 数据网格架构的唯一目的是定义这些数据产品.²¹ 网格依赖于识别数据所有者和数据管理员作为核心数据治理步骤，并映射这些所有者和各种数据域之间的关系, 其中一些可能是主数据.

数据结构平台通过适当的元数据连接数据和流程，以确保有效利用组织的数据资产. 数据结构依赖于当前的(集中式)数据管理工具, 而网格架构开始向分布式数据服务转变.²²

对数据产品的追求是两种细微差别的关键驱动因素, 数据产品是一种结构，它将业务所需的所有数据集中在一起.g.(在某些领域)能够从中产生价值²³ 无论是短期计划还是可重复的长期计划.

云数据治理不等于本地数据治理
理解云中的数据治理不同于本地数据的数据治理和数据管理是至关重要的. 所有政策的监督和管理, 流程, 程序, 标准, 指导方针和RACI图表可以在内部使用. 在云中，这些资源中的许多都是遥不可及的，而是在供应商的范围内.

客户如何执行其数据管理活动的完整治理，而这些活动并非都在客户的范围内, 别管它的控制? 这个问题的答案说明了为什么要求供应商提供相关政策是如此重要——在签署任何云计算合同之前都要进行尽职调查, 流程, 程序, 标准, 指南和RACI图表. 这将有助于确定供应商的数据治理和数据管理活动与组织的数据治理和数据管理活动之间的一致性.

尽职调查过程还提供了确定如何(独立地)审计数据治理和数据管理活动的机会. 在云迁移中，数据的责任不能委托给(云)供应商.

结论

如此简短的文章是无法反映的, 以任何有意义的方式, 现代数据治理和现代数据管理的所有组成部分. 事实上, 让人清醒的是，本文概述了一些能够实现可持续数据治理和数据管理成功的细微差别，但忽略了很多. 例如, 与安全无关, 隐私, 合规, 集成(融合), 生命周期, 内容管理, 摄入, 准备, 分析, 道德, 文化甚至是众包都得到了解决, 更不用说关于互联网和全球数据流的全球数据治理的大主题了. 它们都有细微的差别，丰富了一个功能齐全的组织的数据环境，这个组织为未来做计划，但为现在执行.

可持续数据治理和数据管理实践需要许多微妙之处，而这些在目前可用的各种数据管理或数据治理课程或框架中都没有讨论. 以下是值得注意的12个细节:

1. 认识到爱在数据领域的地位. 数据只代表了与决策相关的工件的一小部分, 但为了爱, 记忆褪色，经历成为神话和传奇.
2. 要注意数据治理和数据管理的总体目标，以有效地实现洞察力并降低组织风险，从而帮助确保组织的可持续性.
3. 认识到启动数据治理之旅会产生更多官僚主义的预期, 哪些应该通过一个定制的商业案例来早期反击，特别强调对员工的积极影响.
4. 理解数据之旅必须与组织的战略紧密结合. 太多关于战略一致性的主张仅仅是通过引用与数据一致的战略目标来实现的. 战略结盟是一个比这反映的更强大的纪律.
5. 定义数据治理和数据管理过程要归档的目标. 其中许多目标可能只是为了对抗对数据的盲目信任，并防止数据导致的误解.
6. 理解这些政策, 流程, 程序, 标准和指导方针不是彼此独立存在的. 后四个工件必须与策略保持一致并支持策略. 后四个工件中与策略项不相关的项应该受到质疑.
7. 理解草皮. 问责和负责是有很大区别的, 同一个人不可能在同一活动中同时扮演两个角色.
8. 要认识到，成功的技术部署并不等同于数据治理或数据管理的成功.
9. 请注意，如果组织的数据成熟度较低，数据治理自动化可能会给组织带来更多风险.
10. 认识到数据结构体系结构依赖于可用的元数据, 比如数据字典, 数据目录和业务词汇表.
11. 要知道数据网格架构是分散的. 如果主要的组织架构是单一的和集中式的，这可能会带来架构集成方面的挑战.
12. 花时间对任何提议的云供应商进行可靠的尽职调查，因为云中的数据治理与内部数据治理几乎完全不同.

Mr. 斯波克说电脑是优秀而高效的仆人, 但他不想在他们手下效力.²⁴ Humans have been comforted by the fabric of lore for thous和s of years; they could never leave their fate to machines. 管理人员应该, 因此, 陶醉于人类将数据和爱结合在一起，从而做出最有效决策的能力, 特别是对于复杂的决策场景. 事实上，人类并不需要完全依赖DDDM. 这样做将使他们的决策与机器的决策没有区别, 强迫自己得出一个站不住脚的结论，即做人类没有好处.

Humans have been comforted by the fabric of lore for thous和s of years; they could never leave their fate to machines.

尾注

¹ 俄亥俄大学, 雅典, 俄亥俄州, 美国, “实施数据驱动决策的五个要素,2021年3月8日, http://onlinemasters.Ohio.edu/blog/data-driven-decision-making/
² Olavsrud T.; “Data 治理: A Best Practices Framework for Managing Data Assets,” 首席信息官2021年3月18日 http://www.CIO.com/article/202183/what-is-data-governance-a-best-practices-framework-for-managing-data-assets.html
³ 索亚,E.; R. Hogarth; “Fooled by 经验,” 《澳门赌场官方软件》2015年5月; http://hbr.org/2015/05/fooled-by-experience
⁴ 沼泽,年代.; “The Pros 和 Cons of a Data-Driven Corporate Culture,” Recruiting Blogs, 16 August 2018, http://recruitingblogs.com/profiles/blogs/the-pros-and-cons-of-a-data-driven-corporate-culture
⁵ Lerner J.; Y. Li; P. Valdesolo; K. Kassam; “Emotion 和 Decision-Making,” 心理学年度评论， 2015年1月; http://www.annualreviews.org/doi/epdf/10.1146/annurev-psych-010213-115043
⁶ 同前.
⁷ 雷,我.; “The Weight of Emotions on Decision-Making: A Comparative Analysis,” 调查杂志,卷. 12日,国际空间站. 9, 2020, http://www.inquiriesjournal.com/articles/1798/the-weight-of-emotions-on-decision-making-a-comparative-analysis
⁸ Bi-Survey.为什么公司在没有掌握所有相关信息的情况下做出决定? http://bi-survey.com/decision-making-no-information
⁹ O ' brien E.; “We Use Less Information to Make Decisions Than We Think,” 《澳门赌场官方软件》2019年3月7日 http://hbr.org/2019/03/we-use-less-information-to-make-decisions-than-we-think
¹⁰ Bazerman, M.; D. Chugh; “Decisions Without Blinders,” 《澳门赌场官方软件》2006年1月， http://hbr.org/2006/01/decisions-without-blinders
¹¹ Pennycook G.; “System 1 vs. 系统二思考:为什么总是保持理性不是战略 大想2022年4月29日 http://bigthink.com/the-well/system-1-2-thinking-fast-slow/
¹² 同前.
¹³ 同前.
¹⁴ 多姆,K.; “Fifty 《澳门赌场官方下载》 Quotes Inspiring You to Boldly Go Into Your Future,” 公司.2016年10月13日 http://www.Inc.com/kevin-daum/50-star-trek-inspiring-you-to-boldly-go-into-your-future.html
¹⁵ 皮尔斯,G.; “Data Resilience Is Data Risk Management,” ISACA^® 杂志,卷. 3, 2021, http://we43.sukdha.com/archives
¹⁶ Op cit Olavsrud
¹⁷ 亨德森J.; N. Venkatraman; “Strategic Alignment: A Model for Organizational Transformation via Technology,信息系统研究中心, 麻省理工斯隆管理学院, 剑桥, 麻萨诸塞州, 美国, 1990年11月, http://dspace.mit.edu/bitstream/handle/1721.1/49184/strategicalignme90hend.pdf?sequence=1
¹⁸ 皮尔斯,G.; T. Gaffney; “Digital 治理: Closing the Digital Strategy Execution Gap,” ISACA杂志,卷. 4, 2020, http://we43.sukdha.com/archives
¹⁹ 巴塞尔银行监管委员会, 《澳门赌场官方下载》,“国际清算银行, 2013年1月, http://www.bis.org/publ/bcbs239.pdf
²⁰ 同前.
²¹ 同前.
²² 同前.
²³ 同前.
²⁴ Op cit 韩国门户网站

盖·皮尔斯，好吧，好吧

有计算机科学和商业的学术背景，并担任过战略领导职务, IT治理和澳门赌场官方下载治理能力. 自1999年以来，他一直积极参与数字化转型, 关注新兴技术在组织中的人员和流程集成，以确保有效的采用. 皮尔斯对数据及其学科保持着浓厚的兴趣，多年前他在高中创办的数据创业公司加速了这种兴趣. 他被授予2019年ISACA^® Michael canemi对IT治理的贡献获得最佳书籍/作者奖, 他是数字化转型方面的顾问, 数据与信息技术.