打造全面的大数据能力
时间：2022-04-02 07:51:02 | 来源：行业动态
时间：2022-04-02 07:51:02 来源：行业动态
广州供电局深感由于没有全局统一的规范，导致每个部门对数据都像是盲人摸象，缺乏整体的把握带来的不便，启动了数据资产管理工作，其目的正是要建立统一的数据规范，包括数据标准和数据共享开放流程，从而规范数据的使用。
孙煜华介绍，数据资产管理工作主要是把所有数据库的元数据进行整理，根据业务视角进行编排，形成数据资产目录，并在数据资产管理系统固化。有了数据资产系统以后，所有数据共享开放可以实现在线申请；申请通过后，系统将自动提供数据接口借此改变了传统的方式，不再需要分别针对具体的业务系统或者数据库来调用数据，大大方便了新系统的开发，加快了新系统上线速度。
今天如果新的业务系统需要某些数据，可以在数据资产管理系统中浏览、检索。按需将它们放到到购物车里，确认后发起一个数据使用的申请流程，经过相关人的批准和授权，就可以使用需要的数据，进行后面的开发了。孙煜华说。
要全面梳理广州供电公司所有的数据并不容易，多年的信息化历程，广州供电局拥有大大小小上百个业务系统，有的系统有超过数万张数据库表，因此这注定是一个长期的工作。目前，数据治理工作已经进行了5年，还会持续进行下去。
孙煜华表示，好在数据资产管理为广州供电局的电力大数据利用开了一个好头。以此为起点，广州供电局接着开展了更全面的数据治理，并采用大数据技术逐渐建成了一个完整的数据中心。这个数据中心基于星环科技的数据云产品打造，通过它实现了广州供电局生产数据、计量数据、管理数据、试验研究数据的汇聚。
这个数据中心是数据集中的共享中心，所有的数据都放上来，通过数据中心对数据进行分析和处理，在此基础上我们形成了一些数据服务和数据创新能力，开放给大家。孙煜华表示。
这是以星环科技的全套技术和解决方案为基础，并引入相关先进技术建立的数据管理系统。具体来说，在数据采集方面，广州供电局利用TDT日志解析功能模块来实现准实时的数据采集，并借助多种采集方式，打造内部多通道并行的数据高速公路。在数据处理方面，进行海量数据存储，然后利用Inceptor对PB级数据进行处理，还使用Kafka和实时流处理引擎Slipstream来支持内部的实时流处理业务。在数据挖掘方面，使用Sophon提供的拖拽式建模工具来满足了人工智能方面的需求。最后，在数据可视化方面利用了Tableau、Power BI等可视化工具来帮助内部业务人员实现自助分析。
值得一提的是，受此项目启发，让孙煜华萌生了将传统的软件工程升级为以数据为核心的软件工程的想法，以孙煜华称之为智慧数字工程，其核心思想是建立统一的数据标准、数据使用规范以及定价方法，方便数据的用户进行交易，为实现数字化转型提供新的软件工程方法论。
在线咨询
