数据质量管控

数据质量控制的数据质量控制方法

一个战略性和系统性的方法能帮助企业正确研究企业的数据质量项目，业务部门与 IT 部门的相关人员将各自具有明确角色和责任，配备正确的技术和工具，以应对数据质量控制的挑战。Informatica 的六步法为帮助指导数据质量控制而设计，从初始的数据探查到持续监测以及持续进行的数据优化。业务部门与 IT 部门的数据使用者 — 业务分析师、数据管理员、IT 开发人员和管理员，能够在六个步骤的每一步中协同使用 Informatica 数据质量解决方案；并在整个扩展型企业的所有数据领域和应用程序中嵌入数据质量控制。步骤一：探查数据内容、结构和异常第一步是探查数据以发现和评估数据的内容、结构和异常。通过探查，可以识别数据的优势和弱势，帮助企业确定项目计划。一个关键目标就是明确指出数据错误和问题，例如将会给业务流程带来威胁的不一致和冗余。步骤二：建立数据质量度量并明确目标Informatica的数据质量解决方案为业务人员和IT人员提供了一个共同的平台建立和完善度量标准，用户可以在数据质量记分卡中跟踪度量标准的达标情况，并通过电子邮件发送URL来与相关人员随时进行共享。步骤三：设计和实施数据质量业务规则明确企业的数据质量规则，即，可重复使用的业务逻辑，管理如何清洗数据和解析用于支持目标应用字段和数据。业务部门和IT部门通过使用基于角色的功能，一同设计、测试、完善和实施数据质量业务规则，以达成最好的结果。步骤四：将数据质量规则构建到数据集成过程中Informatica Data Quality支持普遍深入的数据质量控制，使用户可以从扩展型企业中的任何位置跨任何数量的应用程序、在一个基于服务的架构中作为一项服务来执行业务规则。数据质量服务由可集中管理、独立于应用程序并可重复使用的业务规则构成，可用来执行探查、清洗、标准化、名称与地址匹配以及监测。步骤五：检查异常并完善规则在执行数据质量流程后，大多数记录将会被清洗和标准化，并达到企业所设定的数据质量目标。然而，无可避免，仍会存在一些没有被清洗的劣质数据，此时则需要完善控制数据质量的业务规则。Informatica Data Quality可捕获和突显数据质量异常和异常值，以便更进一步的探查和分析。步骤六：对照目标，监测数据质量数据质量控制不应为一次性的“边设边忘”活动。相对目标和在整个业务应用中持续监测和管理数据质量对于保持和改进高水平的数据质量性能而言是至关重要的。Informatica Data Quality包括一个记分卡工具，而仪表板和报告选项则具备更为广泛的功能，可进行动态报告以及以更具可视化的方式呈现。 上面介绍的Informatica六步法，该方法运用Informatica数据质量解决方案，提供公司所需要的各种数据质量管理能力，并确保其所有数据均是完整的、一致的、准确的、通用的。该解决方案包括几个针对特定用途优化的组件：Informatica Data Explorer运用基于角色的工具可促进业务部门与IT部门之间的协作，该数据探查软件发现和分析任何来源中任何类型数据的内容、结构和缺陷。Informatica Data Quality软件执行清洗、解析、标准化和匹配流程并使得可视记分卡和仪表盘上的持续监测得以进行。与Informatica data Explorer类似，它特有基于角色的工具，业务部门和IT部门可以借此得以协同工作。Informatica Identity Resolution软件能使各机构从60多个国家/地区以及各企业和第三方应用程序中搜寻和匹配一致数据。 Informatica数据质量解决方案为业务部门与IT部门间的协作提供基础。其基于角色的工具特色设计使得业务分析师、数据管理员、IT开发人员和管理员能够充分利用他们独特的技能体系，并在流程中与所有相关人员沟通。Informatica Analyst:适用于业务分析师和数据管理员。通过用语义术语表述数据，该款基于浏览器的工具使分析师和数据管理员能够探查数据、创建和分析质量记分卡、管理异常记录、开发和使用规则，以及与IT部门展开协作。Informatica Developer: 适用于IT开发人员。这个基于Eclipse的开发环境允许开发人员发现、访问、分析、探查和清晰处于任何位置的数据。开发人员可以为逻辑数据对象建模，将数据质量规则与复杂转换逻辑合并，并在逻辑制定后，进行中游探查以验证和调试逻辑。Informatica Administrator: 适用于IT管理员。该工具为IT管理员带来集中配置和管理的能力。管理员可以监测和管理安全性、用户访问、数据服务、网格和高可用性配置。

数据质量控制

在数据库建设过程中，数据的质量问题直接影响系统的运行和将来数据库的实际应用。使用空间数据质量检查软件和人工抽检作为数据质量数据控制体系的重要手段。数据质量检查主要是对空间、非空间数据库的入库数据进行质量检查，其中空间数据主要是逐项检查数据图层（包括MapGIS 与Arc/Info格式）的图形和属性（胡大国，2004），检查的重点是扫描原图精度（图廓点点位、图廓边边长、图廓对角线长度、坐标网线间距）、栅格图像精度、数据采集精度、图层套合精度、拓扑一致性（重点是公共界线的重合性，如断层与地层、地层与侵入体等）、TIC点精度、命名的标准化程度、分层的正确性、数据的完整性、水系方向、图元与属性的对应性、属性代码的准确性等（表8-3、表8-4）。而非空间数据主要是检查浙江省农业地质环境调查的设计、实施、成果等阶段的文档、图片、多媒体资料是否齐全、正确。表8-3 空间图形控制另外，还要对数据字典、元数据进行质量检查，特别是用于系统的解释数据库内容的数据字典，检查的重点是图层名称描述的正确性、数据项、代码的完整性和正确性、非空间数据名称描述的正确性等，最后所有的数据还要导入到AGEI S 系统中进行软件调试和数据检查。