2019年以来,深水集团、杭州水务集团、重庆水务集团、苏州水务集团、郑州供水等众多大、中型水务企业相继启动了数据治理和大数据中心建设项目,水务行业如此密集地开展数据治理和数据中心建设,智慧水务的建设重心逐步发展变化:由建设营收、GIS、SCADA等MIS系统为主的业务数据化,逐步转变至以数据治

首页> 水处理> 智慧水务> 技术> 正文

水务企业大数据中心建设之数据入仓

2021-02-03 15:43 来源: 水务加服务号 作者: 孙甲民 刘广齐

2019年以来,深水集团、杭州水务集团、重庆水务集团、苏州水务集团、郑州供水等众多大、中型水务企业相继启动了数据治理和大数据中心建设项目,水务行业如此密集地开展数据治理和数据中心建设,智慧水务的建设重心逐步发展变化:由建设营收、GIS、SCADA等MIS系统为主的业务数据化,逐步转变至以数据治理和大数据为主的数据业务化;由偏向于数据的生产转为更注重数据资源的管理和数据资产化,水务行业数字化转型迎来新的发展阶段。

图1 数据治理及大数据中心建设是热点

在杭州水务集团、郑州供水、苏州水务集团、江苏中法水务等多家水务企业的数据治理及大数据中心建设工作中,数据仓库建模方法论是一致的,但由于水务行业特性、业务场景的不同,在不同的水务企业,基于大数据的数据仓库建设无法按照统一的项目流程、开发模式进行,更多的是需要根据具体的业务场景结合新的技术体系进行灵活调整,以满足水务企业的实际情况和具体需求。

图2 某水务集团数据仓库工作历程

在实际数据仓库建设中,考虑到底层建设的工作量大,过程时间长,内容比较抽象、不易理解等特点,我们先对水务企业现有的数据资源进行盘点和评估,科普大数据中心建设知识,梳理各条业务线的大数据应用场景,确定数据入仓的范围,挑选各部门需求程度最高的大数据应用场景进行优先建设,一方面能快速看到数据仓库建设成果,另一方面也可以及时发现和调整建设过程中出现的问题,总结经验,为其他大数据应用场景建设打下基础,提高数据仓库建设效率,降低成本。

在数据仓库建设过程中,各水务企业数据仓库建设流程也会有所区别,但主要流程和重点环节基本一致,主要流程和重点环节介绍如下:

图3 数据入仓流程图

一、元数据采集:制定出各信息化系统的元数据清单

根据前期的需求调研,确定本次入仓的信息化系统,并向系统维护人员收集系统操作手册、数据字典等文档以及系统数据库相关信息。通过数据采集工具对各系统数据库的表和字段进行采集,结合各系统文档,确定数据库中所有表和字段的中文含义及字段的数据类型,形成元数据清单。

以营销管理系统数据入仓为例,需要明确哪张表是客户表,哪张是收费表,以及表中每个字段的中文含义。有些系统文档由于没有及时更新,与现有系统数据有不一致情况,则需要信息管理部门与系统开发厂家支持,获取比较准确的元数据清单。

图4 数据采集范围

二、数据筛选:在元数据清单基础上筛选出需要入仓的数据,制定入仓清单

针对元数据清单进行进一步的数据筛选,去除临时表和空表等无用表,确定核心数据表和维度表,提供给信息管理部门进行确认,形成最终入仓的数据表清单。

经过第一步元数据采集,形成元数据清单的过程,可以比较容易的识别出临时表和空表,重点放在空表是否确实为无用表上即可。

三、数据入仓:根据各数据表实际情况,制定出入仓方案,通过专用ETL工具将数据抽取至镜像数据仓库

根据待入仓的数据表清单,以及每张表的实际情况,制定出源数据和镜像数据仓库表之间的字段的映射关系,确定出每张表的入仓策略和抽取规则,是实时抽取还是定时抽取,是全量出抽取还是增量抽取,将规则配置入ETL工具,执行数据入仓。

将数据汇入镜像数据仓库时,因为数据通常来自多个系统多个数据库最终进入同一仓库中,镜像数据仓库对于数据表的命名有专门的原则和规范,与源数据库的表名会有所不同,需要将表名之间的映射关系做好记录,同时制定好每张表的同步规则,如考虑业务系统晚上使用较少,数据同步时间一般放在晚上,错峰同步;

以营销管理系统为例,系统中的组织机构表、客户表等数据不多、变化较小的表可以全量同步,而像抄表数据、收费数据等数据量较大的表可以使用增量同步。

四、数据质量检查:制定数据质量检查规则,定时进行数据质量检核,提升企业数据质量

根据元数据清单以及业务含义,定义出数据质量检查规范、评分标准、及每个字段检查规则,如户号是否唯一,手机号是否为11位数字,身份证号是否为国家规定的15位和18位规则,抄表读数是否为合理的数字范围等。

经过数据质量检核清洗,形成数据质量报告,并将报告结果和未通过检核的明细记录反馈至源系统,形成闭环,PDCA持续提升源数据库的数据质量。通过数据质量检核的数据,进入标准化数据仓库,供主数据管理和数据集市使用。

五、建立数据集市:从业务角度对入仓数据进行梳理,制定数据资产目录以及主数据和业务模型等数据标准,最终形成数据集市

对数据入仓清单进行专题数据识别,划分数据分类与主题,形成数据资产目录,制定出主数据和业务模型等相关数据标准。

制定数据资产目录主要是为了让非技术人员了解企业有哪些数据,因此在制定过程中一般从业务角度进行分类制定,方便业务人员理解。制定数据标准时,一方面需要考虑与现有系统的兼容性,另一方面应重点考虑未来的扩展性和统一性,方便企业对数据的应用,也为新系统建设提供指导。

六、数据应用:建设数据仓库最终是为了更好的应用数据,充分发挥数据在生产运营、营销客服、管理管控中的最大价值

通过数据仓库,水务企业可以拆掉“烟囱”,打破各系统中的数据壁垒,实现真正全面数据共享,同时也让水务企业的分析统计维度获得全面的提高,为企业管理带来新的视角和手段。

数据共享不仅让水务企业内部与外部、部门与部门间的数据获取与共享更方便更快速,也让每一位员工能够获取更全面的信息,提高工作效率,如客服人员不再只能查询营销管理系统内的用户信息,还能知道用户所属的二次加压泵房的工作状态、最近一次水箱清洗的时间、最近一次水质检查结果、附近管网情况、是否有抢修停水情况发生、当天附近是否还有其他用户来电反应相同事件、用水由哪几个水厂提供、附近是否有工作人员可以快速上门、用水由哪几个水厂提供等,真正实现从水源到龙头的管理。

同时通过基于AI算法的客户画像功能,可以识别出更多客户特征,方便业务人员为客户提供更为精细化有针对性的服务,如独居老人关怀、重点用户识别、异常用水分析、工作质量分析、客户服务分析等,支撑精准服务、个性化和主动服务,持续提升客户体验和获得感。

随着《关于加快推进国有企业数字化转型工作的通知》、《关于加快构建全国一体化大数据中心协同创新体系的指导意见》等众多利好政策的推出,数据作为重要的生产要素将逐步成为水务企业的经营理念——凭数据工作、凭数据决策、凭数据指挥。

特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。

凡来源注明北极星*网的内容为北极星原创,转载需获授权。
展开全文
打开北极星学社APP,阅读体验更佳
2
收藏
投稿

打开北极星学社APP查看更多相关报道

今日
本周
本月
新闻排行榜

打开北极星学社APP,阅读体验更佳