解决方案 | 智慧管网大数据平台建设，守护城市“动脉”安全有序

随着我国城市化水平的提高，基础建设的发展，各城市都建有大规模错综复杂的地上地下综合管网设施，特别是城市中心区繁华地段，每条道路下铺设有供水、排水、燃气、热力、电力、电信等20多种地下管线，而这些管线分属不同的权属单位。

智慧管网就是在统一的标准和数字化管道的基础上，通过感知层、传输层、服务层系统架构集成管道全生命周期数据，提供智能分析和辅助决策的功能，将人看不见的管道实现可视化、网络化、智能化管理。

如何建设城市智慧管网大数据平台，本文将详细介绍一套有效的治理方案：

01 建设目标

智慧管网大数据建设目标主要围绕企业“降本增效”和数据价值提升两方面展开。主要包含：

? 降低重复性建设，避免重复造指标、重复开发数据模型，避免重复造轮子；

? 提高人员办公效率，在数据分析、人工智能辅助领导和分析人员进行决策，减少出错几率；

? 新业务快速开发，完善的数仓分层，更快速地进行新业务、新指标的开发；

? 数据能力变现，通过数字化精细管理，沉淀数字经验，提升行业口碑；

最终目标在实现持久化经营和企业远景目标。

02 建设思路

智慧管网大数据建设思路主要体现在四个方面：

统一数据中心，一个数据源，所有业务的数据仅有一套数据；不同业务间数据共享；规范数据格式；整合现有系统，最大限度整合已有系统；分析已有的、缺少的、不必要的数据流与业务流；业务闭环管理，完整性管理6步循环的闭环；各业务内部的闭环；

4.智能分析预警，结合先进互联网技术大数据市场需求，比如大数据分析、AI分析等，提出智能化分析方向或做法。

03 总体架构

智慧管网大数据平台定位通过大数据平台建设，并基于平台能力构建管道安全监测业务，为风险评估提供数据支持；后续打通全公司所有业务应用的数据，打造公司统一的数据中心，通过大数据中心链接赋能全公司的业务应用。

第一阶段：打造数据中台

智慧管网大数据平台总体架构由数据源、数据中台、数据应用三部分组成。

数据源包含企业内部业务系统数据，传感数据，互联网数据，第三方数据以及协同办公数据；

数据中台包含数据采集、存储计算、数据资产及资产运营组成；

数据应用包含效能评价、风险评估、数据分析、智慧调度以及创新业务应用、领导驾驶舱等组成共同构建管道安全监测中心。

智慧管网大数据平台架构

智慧管网大数据平台业务数据流向数据经过数据汇聚平台将多源异构数据进行汇集存储，经由数据治理平台进行数据清洗、转换，通过离线、实时处理技术进行数据加工并进行数仓体系搭建形成数据集市，构建各个分析主题，最终提供数据应用或者数据共享交换使用。

业务数据流向图

04 建设步骤

4.1 建设策略

智慧管网大数据平台遵循“安全、标准、汇集、治理、共享” 核心理念。从标准、设计、采集、开发、使用，再到交付和运维，实现数据治理标准化、流程化、组件化。策略如下：

全景规划、逐步推进，通过全业务数据和用户远景目标，定制数据中台实施计划；首要阶段：实施第一阶段，以已建系统为数据基础，小步快速满足各业务部门场景分析（自下而上）；

3.后续阶段：对于新建系统，需要符合数据规划设计要求，满足数据集成、数据标准、数据服务标准等，保证数据互联互通（自上而下）。

4.2 建设步骤

智慧管网大数据平台建设步骤分为需求分析、数据设计、数据实施、验收运维四个步骤。

1.需求分析主要进行数据盘点，确认目标及业务，需求分析，梳理数据源组成；

2.数据设计进行数据标准设计，汇聚策略设计，数仓分层设计，数据标准设计，数据模型设计，数据质量设计；

3.数据实施进行数据规划，基础库，主题库，建库建表，数据加工与治理，数据质量实施；

4.验收运维阶段进行数仓验收文档，数据巡检日报，任务调度运维报告，质量报告等大数据平台的验收运维工作。

4.3 建设过程

数据盘点主要进行数据需求确定、组织数据盘点、输出盘点成果阶段。

数据标准是进行数据标准化的主要依据，是保障数据的内外部使用和交换的一致性和准确性的规范性约束。

数据仓库体系建设数仓分层是重要的一个环节，通常可以分为ODS层（原始数据层）、DWD层（业务明细层）、DWS层（汇总层）、ADS层（跨主题高度汇总数据）；

ODS层（原始数据层）也称贴源层主要面向管网来源数据，提供原始数据的汇集存储。

DW层包含DWD层（业务明细层）及DWS层（汇总层），其中DWD层面向管网业务主题的，反应历史变化的稳定的标准化后的明细数据；DWS层面向官网业务主题的，基于需求进行数据的汇总和合并。

DWD层（业务明细层）与DWS层（汇总层）的区别与共性如下：按业务分主题进行设计；明细数据区每个实体原则上都要加相应的时间戳；轻度汇总数据区的模型设计依赖于分析需求；数据仓库模型是符合3NF的带有时间戳的关系模型。

ADS层（跨主题高度汇总数据）通过构建数据集市提供管网面向应用的，跨主题高度汇总的数据。

ADS层（跨主题高度汇总数据）数据模型特点：

? 完全基于需求建立，它的主题域、主题的划分与DW层不同；

? 主题划分有两种类型：为企业主管层面服务的综合分析类主题；为企业业务主管层面服务的专业分析类主题；

? 数据分为两类：一类是基于数据仓库的细节数据或轻度汇总数据进行的统计分析，另外一类数据是基于统计分析进一步分析挖掘的数据；

? 数据集市模型通常采用星形模型建模。

基础库建设将汇聚的燃气管理业务数据，根据业务要素分类，构建应急资源库、管道本体库、管道设施库、事件库、站场信息库、地质灾害信息库、第三方设施库等七大基础库。

主题库建设基于大数据资源池的原始库和基础库数据，结合燃气业务管理工作需要，进行数据分类、关联、融合，形成管道巡检、管道维修、风险监测、事件处理、应急抢修等五大主题库。

燃气安全风险智能预测结合AI技术，由管网大数据平台提供训练数据，经由AI平台进行模型训练和特征提取生成对应的结果预警，预警模型发布、结果评估。

05 主要功能

5.1 数据中台主要能力

智慧管网大数据平台依托北明数科一体化数据智能体技术体系，提供数据汇聚、数据开发、数据资产、数据服务、资产运营等能力，主要功能如下：

5.2 多源数据集成

1.支持多类型同步场景

数据集成提供高效稳定的数据同步，支持离线和实时场景下在丰富的异构数据源之间高速稳定的数据移动及同步能力，涵盖数据读取、输出、转换三大核心能力。

离线同步：实现数据主动抽取

实时同步：被动监控数据变更实时刷新动态同步

2.多类型异构数据源

数据集成支持关系型数据库（包括mysql、postgresql、sqlserver、oracle等）、大数据存储（hive、hbase等）、文件系统（hdfs、ftp、sftp）、对象存储（cos、s3）、NoSQL（redis）、搜索（ES）、消息系统（kafka）在内的31种数据源读写。基于DAG画布简化参数配置，支持读写随机组合。

3.丰富的数据处理及运维能力

提供同步前后库表数据过滤、追加/覆盖等数据写入模式、自定义数据字段、脏数据控制等丰富数据处理方式。同时，基于任务和实例级别支持单表实时、离线、整库迁移任务运维，支持任务及资源监控，覆盖短信、邮件等多渠道告警。

5.3敏捷开发运维

1.协同开发空间

开发模式：支持先开发后编排以及先编排后开发两种协作模式，开发和编排空间自动联动；支持多人协同开发、提供表管理、函数开发、资源管理和回收站等多类型开发资源管理使用。

分析类型：支持JDBC数据源在线分析和结果查看，包括Hive、DLC、CDW 、Clickhouse、TDSQL、Mysql、Oracle、SQLServer、IBM DB2等20+种

快捷操作：支持将脚本一键转换为工作流任务、支持脚本按照目录结构导入和导出

统一元数据查看：支持系统源和外部源统一的数据源查看

2.协同编排空间

计算类型：支持Spark SQL、Hive SQL、Spark、MapReduce、Shell、JDBC、Python、PySpark、CDW Postgresql、Impala、DLC等11种任务类型

任务编排：支持可视化、Excel批量以及自定义编排任务

任务调度：支持周期、一次性和事件触发调度，包括crontab方式配置调度以及自定义依赖配置。

任务测试：支持任务和工作流测试及版本管理

调度辅助：提供项目、工作流和任务三种粒度的参数配置，支持时间参数运算以及函数参数

版本管理：支持事件、函数、任务和参数的版本管理

3.发布运维

任务发布：支持跨项目和跨环境的任务发布以及回滚，提供跨租户迁移的能力，发布对象包含任务、函数、事件和参数。

任务运维：提供工作流、任务以及实例的运维操作，包括补数据、重跑、置成功等；支持工作流、任务和实例三种维度的列表和DAG可视化监控

任务监控：提供任务以及实例概览统计，包括任务类型、趋势统计和耗时排行统计和调度资源统计。

监控告警：支持批量设置任务告警配置，提供失败和运行耗时告警，告警方式支持邮件、短信、微信、企业微信、电话和HTTP等6种告警方式

5.4 高效数据治理

1.数据标准

通过资料收集、调研访谈、分析评估等工作流程，梳理企业的业务指标、数据项、代码等，形成并制定数据标准。

2.数据模型

分析数据需求，遵循设计规范，构建标准化数据模型；制定管理制度和实施流程，实现数模型的统一管控

3.元数据管理

自动对接不同的业务系统，解析元数据，形成清晰、准确的数据血缘图和数据流向图，记录数据的来源、处理过程等

4.数据资产管理

建立主数据、全量数据资产， 建立数据资产目录、形成资产地图，用户用最直观的方式，掌握数据资产的概况

5.数据质量管理

事中监控和事后跟踪两种方式，提供预警通道和数据质量分析，建立数据质量监控、预警、分析、优化闭环管理

6.数据安全管理

制定数据安全管理制度，建立生产平台数据安全监控，保证数据被合法合规、安全地采集、传输、存储和使用

5.5 统一数据编目与服务

1.一站式服务门户

面向数据资源编目、部门用数需求、资产可视化管理等业务，在线融合，提供统一、高效的交互入口；提供面向数据管理者和运营团队的统一入口，有效协同。

2.数据目录

按照数据资源编目规范标准，实现数据资源目录的在线录入、编辑变更、审批发布、实体挂接等功能，并通过元数据与数据开放服务平台上下贯通，实现以目录为抓手的一站式数据服务。

3.数据服务

提供数据服务构建、数据服务引擎、数据推送和数据服务网关功能，大数据资源池里的数据资产可以快速封装成 API 对各部门进行服务开放，以数据接口的方式通过数据服务网关提供

06 总结

加强城市地上地下管网的智能化管理对城市健康、安全、有序的发展意义重大。 通过智慧管网大数据平台建设，结合新一代AI、5G、物联网，云计算、三维可视化等技术能够有效理清管道现状，实现有效监管，数据应用和分析更有效，降低运维管理复杂度，有效整合管线资源，降低管线事故，提升城市正常运转效率，实现管网管理由粗放型向智慧化方向发展。

进入北明数科官网，了解数字化转型更多详细内容，预约免费演示！

全域数据一体化构建 ④ | 物联感知平台

助力数字政府的核心力量：政务大数据平台建设内容有哪些？

再谈数据资产门户，助力企业数据运营平台建设

（编辑：东莞站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!