农业信息系统数据中心(数据库)

时间：2022-11-03 08:30:01 | 来源：信息时代

时间：2022-11-03 08:30:01 来源：信息时代

    农业信息系统数据中心 : 架构在网络基础平台之上的为各应用系统提供数据存储、数据管理、数据交换、数据分析的硬件平台和软件平台,是整个农业信息系统的数据资源中心。数据中心主要包含对国家农业数据中心、农业科技数据分中心以及国家粮食流通数据中心的建设,并且在省级农业部门和粮食部门建立数据中心,通过两级数据中心的建设,形成立体的、成规模的信息资源存储、备份、处理和交互的场所。
1. 解决方案定位
农业信息系统数据中心解决方案适用于农业行业内信息的交换、共享、管理和使用,也适用于跨行业的应用需求。不同系统的架构和可复用构件都是一样的,区别主要在:
(1)数据来源和数据内容。
(2)数据管理标准、数据使用方式、数据展现和信息服务模式。
解决方案采用的是标准开放的技术,可以根据具体情况集成不同的ETL、OLAP、BI展现产品。
2. 需求设计的层次划分
农业信息系统数据中心需求从整体上可划分为基础需求和高端需求,一般说来,高端需求以基础需求的满足为前提。
基础需求主要包括由低到高两方面:
(1)数据交换: 一般是简单的库(数据文件)对库交换,有时需要映射。
(2)数据管理:包括元数据管理、数据分类、数据清洗、数据维护、数据发布等。
高端需求主要包括平行的两方面:
(1)应用集成:包括数据的实时共享、流程集成等。
(2)数据挖掘与决策分析。
3. 需求分析
(1)功能需求分析: 可通过“职能区域-业务过程-业务活动”的层次结构来表达农业信息系统相关业务功能。
(2)数据需求分析: 基于传统的“实体-联系”图的信息需求分析,建立稳定的农业信息系统业务数据模型;通过数据流程图(data flow diagram,DFD)进行数据流量化分析。
4.系统建模
根据确定的系统目标,建立以下三种模型:
(1)功能建模:用“子系统-功能模块-程序模块”来表达系统的功能模型。
(2)数据建模:根据农业信息系统业务数据模型进行分组,设计并生成农业应用主题数据库,它是依据各部门具体需求,基于各类业务应用主题而设计的共享信息库,包括农产品预警信息、农产品和农业生产资料监管信息、农村市场供求信息、农产品批发市场价格信息、农业科技信息等; 用数据库名称与内容列表表示; 每一个逻辑数据库规范化到3NF的一组基本表,并进行E-R分析,用主题数据库、每个主题数据库有哪些基本表,以及他们之间的联系来表达系统的数据模型。
(3) 系统建模: 可用C-U(C表示生成,U表示使用)矩阵表示。全域系统体系结构模型表示所有子系统与主题数据库的关系; 子系统体系结构模型表示一个子系统的所有功能模块与基本表的关联关系。
5. 数据架构
数据是应用的中心,数据架构由数据源、数据模型、数据存储、数据迁移和数据访问等架构组成。
(1)数据源架构: 表示结构化数据来源的途径、方式与内容。
(2)数据模型架构:与数据仓库相关,将确定被分析的数据、如何分析数据,以及如何使用经过分析的数据。
(3)数据存储架构:将分析各种可能的数据存储方式,如数据仓库中、数据集市等,并为数据模型构建各类数据实体选择合理的存储方式。
(4)数据迁移架构:以数据模型架构和数据存储架构为基础,明确各数据系统之间数据的迁移机制,重复数据的同步逻辑及数据在各级的分发机制等。
(5)数据访问架构:通过统一的方式对数据源数据和数据模型进行访问的架构。
6. 数据集成
农业信息种类和来源多种多样,将众多信息有效的利用和集成使用是数据中心要考虑的重要内容。数据中心的数据集成采用标准的数据接口访问技术支持异构的数据库,通过主数据管理和数据适配器支持多种信息源,并基于基础业务数据进行管理,可以灵活定制数据交换的规则和关系,规定数据接口的标准与规范,同时提供后台数据交换的处理引擎,从而为上层应用提供服务的数据都能够遵循一致的标准和格式。实现异构数据源之间的数据交换及不同应用系统之间信息的整合,有效地解决各应用部门和各类应用软件间的“信息孤岛”问题。
(1)通用报表组件:通用报表组件包括统一的报表定制、报表填写和报表管理工具,该组件支持以数字数据为主的报表和多种数据类型的报表,基于B/S和C/S结合方式,以指标体系为中心,该组件可满足应用系统对报表的各类要求。通用报表组件主要包括以下功能: 实现指标定制、报表定制(各种版式); 报表下发、填报、审核、汇总、上报; 报表的导入导出; 对报表数据的查询、打印和数据访问权限控制; 指标的增减; 所见即所得的表单设计: 支持在线和离线填写; 综合管理功能等。
(2)数据交换组件:数据交换组件为应用系统之间的集成提供信息交换及共享、数据处理和数据传递服务,包括内部应用系统间的数据交换以及与部外的应用系统数据交换。
数据交换组件应具备如下功能: ①提供多种数据交换方式,包括消息的同步通信、异步通信和会话通信模式,满足不同的数据交换方式的要求;②提供高效的传输能力,满足所有应用系统的数据传输要求; ③保障传输可靠性,通过断点续传、集群、事务技术等多种技术保证数据传递的可靠性; ④支持不同的网络环境,能够很好地支持不同网络接入方式,能够有效利用不同的网络带宽; ⑤提供标准传输组件,使用户只需要进行配置即可实现基本的数据传递功能,简化应用系统的实现。
(3)主数据管理: 根据业务需求将报表、分析、流程、配置信息、基础数据、公文、关系数据库、各类Office文档等数据进行分类、检索和整理,并且为各种组件对数据访问都提供了相应的接口,从而保证数据流与业务流的同步,使各种数据很容易进行信息检索和知识挖掘。主数据管理还将建设农业基础代码、农业指标体系,实现指标的一致性,为待整合业务系统提供数据交换标准,为新建系统提供基础数据引用。最终建设成全局性、基础性数据集成环境,实现数据的统一、集中管理; 形成统一的数据分析环境,为统计分析、宏观决策、业务监督管理提供依据。
主数据管理应具备功能: ①基础代码管理; ②数据的同步管理;③数据质量管理;④元数据管理;⑤自动备份与恢复等。
(4)数据处理组件:数据处理组件应具备如下功能: ①具有对数据ETL功能,可以在交换过程中对传输数据进行抽取、转换和装载等操作; ②具有对数据的质量的检查、提高的功能。
7.数据交换的可靠性
农业信息系统数据中心的数据交换综合网状和星形结构的优势,取长补短,形成混合式交换结构,从而实现一组消息多种路径传送,最终确保传输的可靠性。
8.海量数据处理能力
通过以下策略可实现农业信息系统海量数据的高可用性:
(1) GRID计算模式。如SAN Storage、Database Server Cluster、Application Server Cluster及Web Server Cluster。
(2)科学的分库及表分区规则,合理的并行查询技术。
(3) OLTP和OLAP的合理划分及数据同步、转换。
(4)个性化的技术架构,确保效率最高。
9.数据库性能与质量保障
农业信息系统数据中心数据库系统的性能保障主要包括以下方面:
(1)数据库采用集群的方式,保障数据的可靠性、完整性和安全性,通过全冗余方式完全屏蔽单点失效,发生故障时可提供良好的平滑接管。
(2)采用业界领先的应用服务器和消息中间件软件,从而使不同的应用程序能够以企业级的性能在广泛的平台上安全而可靠地通信,保证数据在传输和处理过程中不丢失、不损失。
(3)采用稳定、可靠的数据库管理系统软件支持应用系统的数据。通过数据库管理系统的可靠性机制保证应用系统的数据可靠性。
(4)通过磁盘冗余阵列技术保证数据的安全可靠。本期建设中对于重要的数据可以采取RAID5的磁盘冗余阵列技术进行数据存储,保证数据可靠。
(5)通过数据级的灾备保证数据的可靠性。
(6)数据库服务器采用双机容错的方式,保证数据永不丢失和系统永不停机,采用双机热备模式,保证信息系统能够不间断地运行。对主机性能要求相近的,有较高可靠性要求的应用部署在同样的服务器上,并进行双机互备。如将部署OLAP Server的服务器与部署BI工具软件的服务器做双机互备,保证OLAP Server与BI的相应服务可靠运行。
10.建设难点与对策
农业信息系统数据中心建设针对以下主要难点提供相应解决对策:
(1)数据标准的制定及落实:成立数据标准委员会。
(2)数据源系统的技术差异性较大:提供多种标准的,开放的应用集成接口组件(adapter)。
(3)数据质量难以保证:提供完整的问题数据反馈机制。
(4)数据的“鲜活性”难以保证: 提供异步、同步两种方式的数据采集方式。
11. 数据中心与数据库建设内容
数据中心主要由国家农业数据中心、中心科技数据分中心及国家粮食流通数据中心组成。
(1) 国家农业数据中心:国家农业数据中心物理上是部和直属单位的网络汇接中心和互联网接入中心,是部网络管理和安全中心,并承载农业信息系统数据存储、数据交换以及国家农业综合门户网站的运行。国家农业数据中心主要包括五大类数据库建设,每类数据库服务于相应的应用系统,各类数据库又分别包括若干子数据库。在国家农业数据中心建设监测预警数据仓库,对采集的数据进行整合,基于多种数据抽取(清洗)接口,将数据从预警信息数据库中抽取出来,并进一步按分析要求组织数据,形成农产品数据集市。国家农业数据中心数据仓库配置在线分析处理(OLAP)服务器、数据分析前端工具,开发数据分析支撑系统,包括信息模板、应用接口等,供信息分析人员使用; 国家农业数据中心主机和存储系统主要由互联网服务区、政务外网服务区、网络管理区和SAN存储区四部分组成,其中互联网服务区和政务外网服务区主要为服务于应用系统的各类服务器主机,网络管理区负责网络管理和安全管理,SAN存储区主要为应用数据存储以及进行数据备份与恢复的区域。
(2)农业科技数据分中心:农业科技数据分中心主要承担农业科技成果、科技人才和使用技术的数据汇总、分析和发布的工作,是农业信息系统的一个重要组成部分。农业科技数据分中心向全国的农业科技工作者和农业科技服务人员提供基于六大数据库的信息服务: 农业科技成果数据库、农业科技专家(人才)数据库、农业实用信息数据库、农业推广案例数据库、农业科技标准数据库和农业多媒体信息数据库。农业科技数据分中心是整个应用的核心,它肩负着网管中心、信息收集、组织、管理中心、内容服务提供中心等多个角色,并通过国家政务外网与国家农业数据中心相连,通过目录交换系统与农业数据中心进行数据交换,同时通过农业科技数据分中心门户网站对外进行网上信息发布、宣传、管理、数据采集、统计等任务。为了保证国家农业数据中心的数据安全,在农业科技分中心设计远程数据容灾系统,通过SAN光纤连接,直接进行数据复制,保证数据及时地容灾备份。
(3) 国家粮食流通数据中心:国家粮食流通数据中心是农产品监测预警系统粮食流通信息采集和数据资源的重要来源之一,它的数据主要来自省(区、市)粮食局,它的建设主要依托国家发展和改革委员会纵向网平台,建立各省粮食局与各省发改委的纵向网连接,实现与国家发展和改革委员会和国家粮食局的纵向网连接,建立国家粮食局与省(区、市)粮食局间高效、安全、快速、准确的信息交换和数据共享的平台。另外,通过独立于纵向网的网络平台,与农业部实现数据共享。
国家粮食流通数据中心数据主要由三部分组成,包括粮食流通信息、粮食生产相关信息和粮食流通相关政策法规信息。在粮食局内网的数据存储区内,以SAN网络存储为核心,链路实现双冗余,SAN存储网络的光纤通道交换设备实现双冗余,配置容量适度的光纤磁盘阵列和近线存储磁盘阵列。配置数据备份管理服务器和磁带库,进行数据备份,保证数据的长久的安全的存储。