作者：刘天须 王子昂 张雪扬

来源：《科学与信息化》2020年第29期

        摘 要 数据资产是交通运输行业信息化建设的重要成果。如何保障数据资产有效、规范管理，本文从数据资源管理、数据标准符合性检测、数据质量管理等三个方面进行应用研究。

        关键词 数据资源管理;数据标准符合性检测;数据质量管理

        数据治理是通过对交通運输行业数据资源进行综合管控，保障数据准确性、一致性、完整性、可用性和安全性。数据治理是为了规范数据标准、提高数据质量和保证数据安全而建立的、组织、流程、技术保障体系。

        1 总体框架

        为实现数据资源“一数一源，一源多用”，应建立数据治理体系，确保采集源头的唯一性和标准化，提高数据质量，确保数据资源能在不同部门之间互联互通和深层次应用，为数据作为资产的价值与效益提供基础保障。

        交通运输行业数据治理总体框架如下图1所示。

        如上图所示，交通运输数据治理主要内容包括：

        （1）治理对象：包括各业务领域形成的基础数据库、主题数据库、业务数据库、共享数据库;

        （2）治理支撑：在交通运输行业信息化建设过程中，为保证数据的可靠性和一致性实现数据资源有效的管控，需要从管控组织、管控流程、管控工具和评价考核四个方面进行建设，四项工作内容相互作用、相互支撑;

        （3）治理任务：主要是实现数据治理的具体途径（方法），包括元数据资源管理、数据标准符合性测试和数据质量管理。

        本文主要针对数据治理任务进行应用研究[1]。

        2 数据资源管理

        数据资源目录管理主要面向行业业务管理部门，其目的是协助行业管理部门掌握各自数据“固定资产”，以便让各级授权用户了解各自业务领域已经沉淀了哪些数据资源？保存在什么地方？数据的质量如何？找什么人联系或通过什么方式可以获取？数据资源目录管理是确保交通运输行业数据资源“一数一源、一源多用”的基础和关键。

        数据资源目录管理应在全行业数据资源整体规划的基础上，按照《交通运输政务信息资源目录（2017版）》要求，对全行业政务信息进行统一目录编制。

        （1）现有数据资源梳理：全面梳理省级、市级交通运输管理部门现有系统数据资源，细化到数据结构、数据项。

        （2）明确权威数据源：基于数据资源规划理论，进行业务和数据流程分析，描述交通运输行业各类业务过程之间输入、输出、存储的数据流，以及与外单位之间的数据输入、输出数据流。

        （3）目录编制：基于交通运输行业数据资源分类标准和目录编制指南，对省市两级现有梳理的数据资源和服务资源提取特征，形成元数据，编制省、市交通运输数据资源目录。

        （4）目录著录：将本部门目录编目形成的所有元数据通过元数据注册系统向省、市级目录中心的管理机构注册。

        数据资源管理用于协助交通运输行业各相关业务部门实现数据资源治理、检索、管理和共享，有效梳理数据资源，高效利用数据资产。数据资源管理功能包括数据资源目录管理和元数据管理两部分，其中数据资源目录管理包括目录生成、目录审核、目录发布、目录更新和目录查询等功能，元数据管理包括元数据生成、元数据审核、元数据发布、元数据更新、元数据一张图展示、元数据查询分析等功能。

        3 数据标准符合性检测

        数据标准符合性测试系统的基本思路是基于JT/T 697.1-14、JT/T 1058-2016、JT/T 1021-2016等国家、交通运输部数据标准，将待检系统（各业务应用系统）数据字典、数据库结构、数据与标准进行对比，从而检测各待测业务应用系统数据的数据类型、数据格式、数据值域、数据约束等是否满足标准相关要求。

        数据标准符合性检测针对数据的类型、格式、单位、值域、约束等度进行检测，数据标准符合性检测是确保各业务应用系统按照国家、行业相关数据标准采标、贯标的重要支撑手段，是大数据平台数据资源标准化、共享化和真正由数据资源转变为数据资产的保障。

        各业务应用系统建设时，在软件系统数据字典编制、软件开发、验收准备（试运行）等阶段应进行交通运输数据标准符合性检测。

        ——软件详细设计阶段：数据字典编制完成后，业务应用系统建设单位应组织利用标准符合性检测系统对数据字典进行标准符合性检测，检测文档中数据项的类型、格式、单位、值域等的定义以及数据集的约束、出现次数等属性是否满足相关标准要求。软件详细设计阶段数据字典通过标准符合性检测后方可进行软件开发阶段;

        ——软件开发阶段：应严格按照软件详细设计阶段数据字典的设计，利用标准符合性检测系统对数据库表结构进行标准符合性检测，检测数据库中数据项的类型、格式、单位、值域等的定义以及数据集的约束、出现次数等属性是否满足相关标准要求，生成数据库表结构的标准符合性检测报告;

        ——验收准备（试运行）：在业务应用系统试运行并积累一定数据量后（主要业务数据表记录超过50条），应用系统建设单位应组织对系统数据库表结构和数据库内容（数据记录）进行标准符合性检测，生成数据库内容的标准符合性检测报告。

        标准符合性测试主要包括数据标准管理、检测标准库管理、检测数据采集管理、标准符合性检测和标准符合性检测评估等功能。

        4 数据质量管理

        随着交通行业信息化工程建设的不断推进，交通运输行业对行业内外各业务单位之间、与相关部门之间、相关省份之间信息共享与业务协同的需求越发迫切，对数据的完整性、准确性、一致性、时效性、可访问性和安全性提出了更高的质量要求。

        ——数据的完整性：数据覆盖的空间范围、数据内容、时间范围应完整，满足应用需求;

        ——数据的准确性：数据应正确、真实、客观地描述交通业务或对象的属性;

        ——数据的一致性：从多个渠道获取的数据应保持一致;

        ——数据的时效性：数据采集、更新应符合规定要求;

        ——数据的可访问性：数据能被有效访问;

        ——数据的安全性：数据在存储、传输、处理过程中不被泄漏、破坏和免受未授权的修改。

        数据质量管理是根据定制的数据质量校验规则对数据资源进行检查，形成质量问题数据记录;同时实现数据质量问题发现登记、发布、修正反馈。

        数据质量管理主要功能包括数据质量监控、数据质量问题处理、数据质量评估、数据质量报告、数据质量知识库管理、数据质量对外服务等6个功能。

        5 技术实现

        如下图2所示，通过对行业数据资源的整理，形成了全行业数据资源目录管理体系。

        图2 交通运输行业数据资源目录管理界面原型图

        基于行业数据标准，实现了行业数据资源标准符合性检测，如下图3所示。

        图3 交通运输行业数据标准符合性检测界面原型图

        参考文献

        [1] 佚名.交通运输信息系统数据标准符合性检测技术规程（报批稿）[ED/OL].https：//wenku.baidu.com/view/9706872bcd84b9d528ea81c758f5f61fb736282f.html，2020-6-18.

        作者简介

        刘天须（1988-），男，河南人;专业：交通运输信息化，学历：硕士研究生，现就职单位：河南省交通通信中心。下载本文