新疆维吾尔自治区统计局基层统计业务平台:
1.元数据管理:有完整的编码体系描述数据与数据属性之间的联系;
2.统计指标管理:可以显示全部或部分统计指标,可以增加指标、删减指标;
3.统计分类管理:可以显示全部或部分统计分类,可以增加分类、删减分类;
4.行政区划管理:能够对省码、地级市码、县区码、乡镇街道码、村码进行增加、删减或修改等;
5.调查制度管理:统计调查制度规定等;
6.报表管理:分基层表管理和综合表管理,以及已汇总表式的管理。
1.统计制度管理系统
统计制度管理系统按照统计标准,创建元数据,制定元数据分类与编码体系,构建元数据库结构,建立各种元数据之间的依存和引用关系,并按照特定的流程进行组织管理,实现对元数据的规范化和标准化管理。实现平台内统计制度统一管理及服务等需求,在统计制度和元数据的建立、设计、修订和在设计等方面,需提供完整的设计管理工具和完善的标准体系。
2.调查对象管理系统
调查对象管理系统实现平台内调查对象的统一管理及服务,为平台内的其他系统提供其所需的调查对象。管理统计调查项目的各种统计调查对象。
3.数据归集融合系统
实现系统内信息资源目录的梳理和统一管理及服务等需求,在专业数据采集、处理、管理、业务应用支撑等方面,提供全方位、多层次、多途径的数据归集服务。
4.数据资源池系统(hadoop架构)
建立Hadoop大数据平台为支撑的数据资源池,实现按照不同功能、专业、调查类型等分类,导入相关统计数据,建立数据信息全面完整的数据资源池和各种分类数据池,大数据引擎统一管理调度,形成数据的集中统一管理和服务。根据不同的数据分类,以数据资源池为基础,形成相应的专业数据池,通过统计业务平台实现统计数据双向交换。
5.统计数据生产系统
统计数据生产系统涵盖所有的专业统计业务工作,包括常规调查、大型普查、抽样调查、重点调查,以及政府部门统计等统计制度的设计和统计数据的采集、处理、融合和管理等统计数据生产全过程。针对企业(单位)、住户(个人)、市场(生产经营主体)等不同类型的调查对象,实现电子化数据的采集和处理,满足常规调查、专项调查、普查和临时调查任务。实现数据采集、数据审核、数据汇总、数据查询、数据修改和数据管理等功能。可满足各专业工作数据的审核、整理、汇总、查询、分析等任务,满足各类统计调查和普查任务的数据处理和管理要求。
6.经济运行监测系统
经济运行监测系统有效整合已有统计资源,形成集经济运行及时上报、动态监测、实时调度、精确管理等功能为一体的经济运行监测平台。基于新疆自治区统计局各项经济指标,有效整合统计相关系统及统计部门内可共享经济运行数据资源,及时汇集共享经济运行数据,实现数据报送的制度化、网络化和常态化,同时提供便捷、精准、高效的查询功能。
7.数据质量监测系统
数据质量监测系统,是以国家联网直报平台(国家“一套表”平台)采集的数据为基础,通过对数据的纵向、横向对比分析以及数理质量检验等方法,对企业上报数据质量进行实时监控,一是发现企业上报数据的异常值,为各级统计监管机构检查工作提供便利;二是对企业报送行为进行监测,发现违法线索,为统计执法提供依据。
技术方案
1.技术架构
1.1.元数据库设计理念
自治区统计局人口数据应用开发服务项目,此项目的数据管理拟采用元数据设计理念,以满足统计数据的跨专业的数据共享与交换、跨时间跨区域的数据管理和查询服务等应用。系统对数据的存储和管理采取“点”的管理模式,即将常规统计报表的每项指标数据分解成各个数据点进行存储和管理。
2.元数据管理
负责元数据的设计、修订与再设计。
2.1 数据是描述报表单元格属性的数据,包括名称、计量单位、数据类型、计算关系等信息;
2.2 元数据分为基础元数据、制度元数据、方法元数据,基础元数据包括指标、目录、分组、计量单位、统计分类标准,是进行统计调查的基础,制度元数据包括统计报表、制度说明等,方法元数据包括报表审核、汇总、计算方法及公式,是数据处理的标准和质量保证;
2.3 提供了完整的元数据设计管理工具。
2.3.1.物理报表存储单元最小化
本系统的物理数据存储单元原则上需分解至可识别其逻辑意义的最小单元。
2.3.2 逻辑报表虚拟化
本系统应具备报表虚拟化的处理、管理能力,不可以静态表格的方式,进行报表的存储和管理。系统的全部报表通过基于元数据(度量、维度)简单的拖拽、采用所见即所得的方式实现。
2.3.4 灵活的报表设计功能
提供对业务报表进行描述的设计工具,方便用户对报表进行定制。提供直观、提供对业务报表进行描述的设计工具,方便用户对报表进行定制。提供直观、便捷的报表设计功能,支持表格与问卷的设计。
在报表设计过程中,可以使用拖拽的方式,将指标或分类拖入报表对应位置完成报表的设计。
2.3.5 表达式驱动
基于基层数据,用表达式作为驱动手段,可是现实所有相关的审核、汇总、计算、数据派生和形成业务数据库。
2.2 技术路线
2.2.1基于SOA架构实现服务
面向服务的体系结构(service-oriented architecture,SOA) 是一个服务模型,它将应用程序的不同功能单元(称为服务)通过这些服务之间定义良好的接口和契约联系起来。接口是采用中立的方式进行定义的,它独立于实现服务的硬件平台、操作系统和编程语言。这使得构建在各种这样的系统中的服务可以以一种统一和通用的方式进行交互。
这种具有中立的接口定义(没有强制绑定到特定的实现上)的特征称为服务之间的松耦合。松耦合系统的好处有两点,一点是它的灵活性,另一点是,当组成整个应用程序的每个服务的内部结构和实现逐渐地发生改变时,它能够继续存在。而另一方面,紧耦合意味着应用程序的不同组件之间的接口与其功能和结构是紧密相连的,因而当需要对部分或整个应用程序进行某种形式的更改时,他们就显得非常脆弱。
对松耦合的系统的需求来源于业务应用程序需要根据业务的需要变得根据灵活,以适应不断变化的环境,比如经常改变的政策、业务级别、业务重点、合作伙伴关系、行业地位以及其他与业务有关的因素,这些因素甚至会影响业务的性质。我们称能够灵活地适应环境变化的业务位按需(On demand)业务,在按需业务中,一旦需要,就可以对完成或执行任务的方式进行必要的更改。
2.2.2 XML WEB SERVICE
XML Web Service 是在 Internet 上进行分布式计算的基本构造块。开发的标准以及对用户和应用程序之间的通信和协作的关注产生了这样一种环境,在这种环境下,XML Web Service 成为应用程序集成的平台。应用程序是通过使用多个不同来源的XML Web Service 构造而成的,这些服务相互协同工作,而不管它们位于何处或者如何实现。有多少个构建 XML Web Service 的公司,就可能有多少种 XML Web Service定义。不过几乎所有定义都具有以下共同点:
1.XML Web Service 通过标准的Web 协议向Web 用户提供有用的功能。多数情况下使用SOAP协议。
2.XML Web Service 可以非常详细地说明其接口,这使用户能够创建客户端应用程序与它们进行通信。这种说明通常包含在称为Web 服务说明语言(WSDL)文档的XML文档中。
3.XML Web Service 已经过注册,以便潜在用户能够轻易地找到这些服务,这是通过通用发现、说明和集成(UDDI)来完成的。
XML Web Service 体系机构的主要优点之一是:允许在不同平台上、以不同语言编写的各种程序以基于标准的方式相互通信。SOAP比以前的方法要简单得多,因此要实现与标准兼容的SOAP,障碍也要小得多。多数大的软件公司都提供SOAP实现方案,但也有许多实现方案是由个别开发人员创建和维护的。相对以前的方案而言,XML Web Service 的另一大优点是使用标准的Web 协议-XML、HTTP 和TCP/IP 。许多公司都已经建立了Web 基础结构,同时它们的员工在维护方面也都具备相应的知识和经验。
我们将 XML Web Service 定义为:通过SOAP 在Web 上提供的软件服务,使用WSDL 文件进行说明,并通过UDDI 进行注册。最初的XML Web Service通常是可以方便地并入应用程序的信息来源。
2.2.3 JSON技术
JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。它基于ECMAScript的一个子集。 JSON采用完全独立于语言的文本格式,但是也使用了类似于C语言家族的习惯(包括C、C++、C#、Java、JavaScript、Perl、Python等)。这些特性使JSON成为理想的数据交换语言。 易于人阅读和编写,同时也易于机器解析和生成(一般用于提升网络传输速率)。
json简单说就是javascript中的对象和数组,所以这两种结构就是对象和数组两种结构,通过这两种结构可以表示各种复杂的结构。
基于RIA的Web交互技术
基于B/S的Web应用具有部署简单、维护方便的特点,但在交互性方面不如传统的C/S应用的响应来得迅速,如表单的提交可能导致整个Web页面被刷新。
目前由Adobe等公司发展起来的RIA技术较好地解决了Web应用的这一传统问题,使用RIA技术所带来的好处包括:
客户端与服务器之间传输的数据量大大减少;可感知的系统响应时间大幅度缩短;
由于反馈及时,用户感觉对应用程序的控制更加得心应手;
可实现离线数据缓存。
2.2.4 基于Hadoop的大数据集群架构
集群技术是一种较新的技术,通过集群技术,通过多机并行处理解决对性能影响较大的延迟以获得高并行处理性能,突破单机固有的性能瓶颈。集群技术可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益,其任务调度则是集群系统中的核心技术。同时,集群技术还可以提高扩展性和增强可靠性。
集群技术可用于数据库集群和应用集群,对外提供高效服务。
2.2.5 其他技术
1.协调数据源,为各应用系统提供统一的注册服务、主索引、基于XDS资源目录体系、数据隐私保护服务,以保证基础信息的一致性、身份识别唯一性、个人隐私的安全性、数据共享和交换的可定义性,最终保证系统建成后的互联互通和信息共享。
2.采用企业级服务总线(ESB)技术,支持数据的自动采集、传输、标准化转换、存储、共享等。
3.以消息机制为技术核心,具备可持久性消息仓库,支持对任何消息进行实时查询与历史查询。
4.通过预制的适配器能集成多种技术,如.NET、JAVA,支持开发定制化的适配器。
5.支持成熟的中间件产品,支持UNIX、LINUX、Windows等操作系统。
6.能集成多种数据库,如DB2、ORACLE、SYBASE、Cache和SQL Server。
7.支持XML、HL7、IHE、DICOM3、SNOMED、ICD10等标准和规范,支持多种通讯协议,如TCP/IP。
8.提供工作流管理、过程管理和规则管理工具,重新组织医院的业务流程和工作流,配置业务规则,包括跨不同系统间的业务流程整合。
9.提供良好的负载均衡手段,防止系统阻塞失灵。
10.采用先进的数据库系统技术:面向对象的关系数据库或大型关系数据库;支持数据并行处理技术,能在不影响数据库正常运行的情况下更新系统;支持分布式处理;支持备份服务器和数据库集群技术,支持负载均衡;支持基于行业标准的数据库存储加密、传输加密及完整性校验;支持超大规模的数据库设计和存储,支持TB级大容量数据在线访问和处理;支持7x24小时的实际运行环境。具有开放性,支持异种数据库的访问,包括实现对文件数据和桌面数据库的访问、对大型异种数据库的访问、实现和高级语言互联的能力等。
11.具备完善的安全机制,提供权限认证模式和数据加密来控制数据交换的安全,防止非法访问和数据丢失。支持应用系统之间各功能服务和接口的调用权限管理,提供应用节点与应用节点之间,应用节点到接口服务之间的权限控制,以保证数据交换的合法性。
12.具有可配置的管理系统,降低系统的管理和维护难度。
支持业务行为监控,具有基于门户的、中央管理的配置信息、业务流程和消息管理工具、事件管理和报警、以及端对端的跨应用消息跟踪工具。提供性能监视器功能,能对设定的关键指标进行监控。
13.具备应急备份方案,保证系统可以连续7×24小时连续运行。保证在达到峰值或系统故障时,可以通过调整、调节和方便的扩展、数据的恢复等手段使系统平稳运行。