【数据治理】要点整理-信息技术数据质量评价指标-GB/T36344-2018

article/2025/6/21 8:10:05

导读:指标为数据质量评估提供了一套系统化、标准化的框架,涵盖规范性、完整性、准确性、一致性、时效性、可访问性六大核心指标,助力组织提升数据处理效率、支持决策制定及业务流程优化,确保数据在数据生存周期各阶段的质量可控。

目录

1、数据质量指标说明

2、数据质量评价表模板实例

3、数据质量评价过程 


1、数据质量指标说明


2、数据质量评价表模板实例

序号评价指标评价维度评价规则案例说明评价结果问题描述改进建议
1规范性数据标准符合性数据是否符合国家标准、行业标准或企业规定的数据格式、编码规则等。身份证号字段需符合GB 11643-1999标准,某记录身份证号为“12345678901234567X”(校验位正确)。 合格保持校验规则,定期抽查数据。
2数据模型符合性数据是否符合数据模型定义,如字段类型、长度、约束等。客户姓名字段定义为VARCHAR(50),某记录姓名为“张三”(长度符合)。 合格确保数据录入时字段类型与模型一致。
3元数据一致性数据是否与元数据描述一致,如取值范围、业务含义等。元数据定义“性别”字段取值范围为“男”“女”,某记录值为“男”。 合格定期更新元数据,确保与实际数据一致。
4完整性数据元素完整性必填字段是否均有值,无缺失。订单记录中商品ID字段为必填,某记录商品ID为“P001”(无缺失)。 合格设置必填校验,录入时提示补全。
5记录完整性数据集中是否包含所有应存在的记录。某日应生成100条订单记录,实际生成100条(无缺失)。 合格建立数据完整性监控机制,定期核对记录数。
6准确性数据内容正确性数据值是否准确反映实际对象。账户余额应为1000元,某记录余额为1000元(准确)。 合格通过与权威数据源比对,确保数据准确。
7空值率关键字段空值率是否在可接受范围内。某字段空值率应低于5%,实际空值率为2%(符合要求)。 合格监控空值率,对高空值率字段进行清洗或补全。
8一致性数据逻辑一致性数据间逻辑关系是否一致,如库存与订单数量匹配。库存100件,某订单商品数量为50件(库存充足)。 合格建立数据一致性校验规则,实时同步数据。
9数据冲突检查数据是否与其他上下文数据无矛盾。CRM系统中商品名称为“手机”,ERP系统中为“智能手机”(需统一)。 不合格商品名称不一致统一数据命名规范,建立数据映射关系。
10时效性数据更新延迟数据更新是否及时,如包裹状态更新。包裹签收后,系统状态应在2小时内更新(实际延迟1小时)。 合格设置超时提醒,优化数据更新流程。
11数据时效性影响数据时效性是否影响决策或业务。实时库存数据支持快速补货决策(无影响)。 合格确保关键数据实时更新,支持业务决策。
12可访问性数据可访问率数据接口成功率是否达标。某数据接口成功率应达99%,实际为99.5%(达标)。 合格监控接口性能,优化服务器资源。
13访问权限管理数据访问权限是否合理设置。敏感数据仅授权人员可访问(已设置)。 合格定期审计访问权限,确保数据安全。

3、数据质量评价过程 

环节具体内容实例说明作用
与职责分工明确组织架构与职责分工 成成立由数据管理员、业务部门(销售、客服、物流)代表、数据分析师组成的数据质量管理团队。数据管理员主导规则制定与执行监督;业务部门提供业务视角的数据需求和使用反馈;数据分析师负责数据质量评估与分析明确各部门在数据质量管理中的职责和分工,为后续工作提供组织保障
规范标准制定数据相关规范标准1. 数据格式规范:规定商品编号为 8 位数字,客户姓名不超过 20 个字符且支持中英文,订单日期格式为“YYYY - MM - DD”统一数据标准,避免因数据格式、录入方式等不一致导致的数据质量问题
2. 数据录入规范:客服录入客户电话需为 11 位数字,地址详细到门牌号
3. 数据存储规范:交易数据存于关系型数据库特定表,用户数据按用户 ID 分区存储
确定评价指标确定衡量数据质量的指标1. 完整性:订单关键字段(商品 ID、客户 ID、订单金额)完整率 ≥ 99%提供量化标准,用于准确评估数据质量状况
2. 准确性:商品价格误差 ≤ ±1%,客户地址准确率 ≥ 95%
3. 一致性:商城前端与后台库存数据误差 ≤ 1%
4. 时效性:订单状态更新时间 ≤ 实际变更后 1 小时
实施评价执行数据质量评估并反馈1. 定期检查:每周抽样检查订单关键字段完整性并统计完整率及时发现数据质量问题,形成持续改进机制
2. 实时监控:利用工具实时监测商品价格,超误差范围即报警
3. 数据比对:每日定时比对商城前后台库存数据,记录不一致情况
4. 循环反馈:发现问题反馈给相关部门整改,整改后重新评估
数据质量提升采取措施提升数据质量1. 问题修复:通过与业务系统日志和财务数据比对,补全缺失订单金额解决已发现的数据质量问题,提高整体数据质量水平
2. 流程优化:优化客服录入客户地址界面,增加自动联想和校验功能
3. 培训教育:组织客服参加数据录入规范培训,强调正确录入的重要性
数据交付使用将数据投入业务使用并持续监控1. 数据交付:把高质量数据提供给业务部门,如营销部门用准确客户数据开展精准营销,物流部门用完整订单数据安排配送让数据发挥实际价值,支持企业决策和业务运营,保障数据质量持续稳定
2. 持续监控:在数据使用过程中持续监测质量,确保满足业务需求

http://www.hkcw.cn/article/rOJLfSYTtD.shtml

相关文章

【Redis】hash 类型

hash 一. hash 类型介绍二. hash 命令hset、hgethexists、hdelhkeys、hvals、hgetallhmset、hmgethlen、hstrlen、hsetnxhincrby、hincrbyfloat 三. hash 命令小结四. hash 内部编码方式五. hash 的应用场景缓存功能缓存方式对比 一. hash 类型介绍 哈希表在日常开发中&#x…

ubuntu/windows系统下如何让.desktop/.exe文件 在开机的时候自动运行

目录 1,​​让 .desktop 文件在 Ubuntu 开机时自动启动​ 1.1 创建 autostart 目录(如果不存在)​ ​ 1.2 将 .desktop 文件复制到 autostart 目录​ ​ 1.3 确保 .desktop 文件有可执行权限​ 2,windows 2.1 打开「启动」文件夹​…

1-Wire 一线式总线:从原理到实战,玩转 DS18B20 温度采集

引言 在嵌入式系统中,通信总线是连接 CPU 与外设的桥梁。从 I2C、SPI 到 UART,每种总线都有其独特的应用场景。而本文要介绍的1-Wire 一线式总线,以其极简的硬件设计和独特的通信协议,在温度采集、身份识别等领域大放异彩。本文将…

有机黑鸡蛋与普通鸡蛋:差异剖析与选购指南

在我们的日常饮食结构里,鸡蛋始终占据着不可或缺的位置,是人们获取营养的重要来源。如今,市场上鸡蛋种类丰富,除了常见的普通鸡蛋,有机黑鸡蛋也逐渐崭露头角,其价格通常略高于普通鸡蛋。这两者究竟存在哪些…

Fastapi 学习使用

Fastapi 学习使用 Fastapi 可以用来快速搭建 Web 应用来进行接口的搭建。 参考文章:https://blog.csdn.net/liudadaxuexi/article/details/141062582 参考文章:https://blog.csdn.net/jcgeneral/article/details/146505880 参考文章:http…

数字化转型进阶:精读41页华为数字化转型实践【附全文阅读】

该文档聚焦华为数字化转型实践,核心内容如下: 转型本质与目标:数字化转型是通过数字技术穿透业务,实现物理世界与数字世界的融合,目标是支撑主业成功、提升体验与效率、探索模式创新。华为以 “平台 服务” 为核心&am…

共享内存-systemV

01. 共享内存简述 共享内存是一个允许多个进程直接访问同一块物理内存区域的进程通信工具,因其本身不涉及用户态与核心态之间转换,故效率最佳。为了使用一个共享内存段,一般需要以下几个步骤: 调用shmget()创建一个新共享内存段…

大语言模型值ollama使用(1)

ollama为本地调用大语言模型提供了便捷的方式。下面列举如何在windows系统中快捷调用ollama。 winR打开运行框,输入cmd 1、输入ollama list 显示已下载模型 2、输入ollama pull llama3 下载llama3模型 3、 输入 ollama run llama3 运行模型 4、其他 ollama li…

【基础算法】高精度(加、减、乘、除)

文章目录 什么是高精度1. 高精度加法解题思路代码实现 2. 高精度减法解题思路代码实现 3. 高精度乘法解题思路代码实现 4. 高精度除法 (高精度 / 低精度)解题思路代码实现 什么是高精度 我们平时使用加减乘除的时候都是直接使用 - * / 这些符号,前提是进行运算的数…

uni-data-picker级联选择器、fastadmin后端api

记录一个部门及部门人员选择的功能,效果如下: 组件用到了uni-ui的级联选择uni-data-picker 开发文档:uni-app官网 组件要求的数据格式如下: 后端使用的是fastadmin,需要用到fastadmin自带的tree类生成部门树 &#x…

MonitorSDK_性能监控(从Web Vital性能指标、PerformanceObserver API和具体代码实现)

性能监控 性能指标 在实现性能监控前,先了解Web Vitals涉及的常见的性能指标 Web Vitals 是由 Google 推出的网页用户体验衡量指标体系,旨在帮助开发者量化和优化网页在实际用户终端上的性能体验。Web Vitals 强调“以用户为中心”的度量,而…

Kubernetes架构与核心概念深度解析:Pod、Service与RBAC的奥秘

🔥「炎码工坊」技术弹药已装填! 点击关注 → 解锁工业级干货【工具实测|项目避坑|源码燃烧指南】 引言:云原生时代的操作系统 在云原生技术浪潮中,Kubernetes(简称K8s)已成为容器编排领域的"分布式操…

enumiax:IAX 协议用户名枚举器!全参数详细教程!Kali Linux教程!

简介 enumIAX 是一个 Inter Asterisk Exchange 协议用户名暴力枚举器。enumIAX 可以以两种不同的模式运行;顺序用户名猜测或字典攻击。 enumIAX 可以以两种不同的模式运行:顺序用户名猜测或字典攻击。 顺序用户名猜测 在顺序用户名猜测模式下&#xf…

《深入解析SPI协议及其FPGA高效实现》-- 第一篇:SPI协议基础与工作机制

第一篇:SPI协议基础与工作机制 1. 串行外设接口导论 1.1 SPI的核心定位 协议本质 : 全双工同步串行协议(对比UART异步、IC半双工)核心优势 : 无寻址开销(通过片选直连)时钟速率可达100MHz&…

C++语法系列之模板进阶

前言 本次会介绍一下非类型模板参数、模板的特化(特例化)和模板的可变参数&#xff0c;不是最开始学的模板 一、非类型模板参数 字面意思,比如&#xff1a; template<size_t N 10> 或者 template<class T,size_t N 10>比如&#xff1a;静态栈就可以用到&#…

STL-list

1.list概述 List 并非 vector 与 string 那样连续的内存空间&#xff0c;list 每次插入或删除一个元素&#xff0c;都会新配置或释放一个元素的空间&#xff0c;所以list对于空间的使用很充分&#xff0c;一点也没有浪费&#xff0c;对于任意位置的插入或删除元素&#xff0c;时…

导入Maven项目

目录 5. 5.1 导入方法1 5.2 导入方法2 5.1 导入方法1 建议选择pom.xml文件导入 导入成功 5.2 导入方法2 导入成功

【含文档+PPT+源码】基于微信小程序的社区便民防诈宣传系统设计与实现

项目介绍 本课程演示的是一款基于微信小程序的社区便民防诈宣传系统设计与实现&#xff0c;主要针对计算机相关专业的正在做毕设的学生与需要项目实战练习的 Java 学习者。 1.包含&#xff1a;项目源码、项目文档、数据库脚本、软件工具等所有资料 2.带你从零开始部署运行本套…

【Unity笔记】Unity WASD+QE 控制角色移动与转向(含 Shift 加速)实现教程

摘要&#xff1a; 在 Unity 游戏开发中&#xff0c;键盘控制角色的移动与转向是基础功能之一。本文详细讲解如何使用 C# 实现基于 WASD 移动、QE 转向 与 Shift 加速奔跑 的角色控制器&#xff0c;适用于第一人称、第三人称、自由漫游等场景。通过直观的 Transform 控制方法与可…

通讯方式学习——单总线协议(2024.04.09)

参考链接1: 单总线器件DS18B20测温程序该怎么编写&#xff1f;这个视进行了详细讲解&#xff01; 在此感谢各位前辈大佬的总结&#xff0c;写这个只是为了记录学习大佬资料的过程&#xff0c;内容基本都是搬运的大佬博客&#xff0c;觉着有用自己搞过来自己记一下&#xff0c;如…