首页
> 智政院 > 智政观点
研究 | 以中台架构搭建高质量政府数据开放平台
时间:2020-07-28 16:44 浏览次数:

智政院原创研究


导语

「政府数据开放」在数据成为发展新动能的时代背景下需要引入多方参与、形成共同治理,「数据开放平台」的建设也需要一种基于微服务的中台架构进行全方位赋能,以更好地满足数据开放闭环中数据的汇聚、清洗、开放、查询、利用、反馈、反哺全环节以及运维和安全保障等方面不断激发的需求,为培育高质量数据开放生态创造条件。

 

今年4月9日,《中共中央、国务院关于构建更加完善的要素市场化配置体制机制的意见》正式公布,数据明确成为一种和土地、资本、劳动并驾齐驱的新型生产要素,大数据成为推动经济高质量发展的新动能,同时文件也再次强调「推进政府数据开放共享」。随着中国的数字化产业和互联网经济日益发展壮大,中国经济从高速发展向高质量发展转型,社会对「政府数据开放」的需求日渐增长。只有将政府十多年来在数字化转型中积累的「数据宝库」最大限度地开放出来,让社会进行有效融合和利用,合力构筑数据基础设施,才能充分释放数据能量,激发创新活力,创造公共价值,促进社会繁荣,形成数字政府时代链接公众与产业进行多元数字化社会治理的全新格局。

 

 

一、通过「基于微服务的中台架构」夯实数据开放地基

2015年《促进大数据发展行动纲要》首次明确提出「政府数据开放」以来,中国的数据开放逐渐从摸索期走向成熟期。一方面,随着自身的数字化转型积淀以及从生产到消费领域大数据持续不断地集腋成裘,政府直接和间接掌握的数据量级呈几何级增长;另一方面,近年来数字经济的发展让中国企业和公众享受到的数据红利很好地完成了用户教育,使得社会充分认识到大数据的价值,对「政府数据开放」的呼声和参与热情都越来越高。同时,在数字政府新时代,政府管理模式转向社会治理模式,成为多方公共利益的「协调者」,数据开放从一个简单的政府一方包办的网站栏目演进为政府搭建平台,引入多方主体,构造数据治理的多元化生态闭环。数据开放的新环境和新特点给地方政府营造数据开放新模式带来两大全新挑战:一是「数据量级和用户规模急遽增长」挑战数据开放平台对海量存储和高并发的承载和快速响应能力;二是「平台生态不断进化完善的过程」挑战数据开放平台对结构、功能和应用进行松耦合敏捷迭代的能力。在传统的数据开放思路当中,数据开放往往仅是政府门户网站的单一栏目建设,功能简单、数据量小、用户有限,在集约化体系内依靠相关功能系统即可完成建设,但这种建设模式在面对海量数据、大量用户的平台化新需求时则会显得力不从心,任何单一系统在数据读写和访问的超高并发峰值压力下崩溃,都可能「牵一发而动全身」引发整个平台的「雪崩效应」;同时当我們需要对平台进行结构优化、功能迭代或应用扩容的时候,孤立的系统架构也会导致流程复杂、兼容困难、耦合严重,难以为打造完整生态闭环提供敏捷化的技术赋能

 

因此,在「政府数据开放」向规模化、平台化和生态化不断演进的必然趋势下,为了增强数据开放平台健壮性、可用性和灵活性,我們需要搭建基于微服务的「数据开放」中台架构,用模块化的微服务替代传统的单一功能系统,实现底层技术架构的升维。中台架构对云和分布式、多级缓存和负载均衡的良好支持,能够有效应对海量存储、高并发和大流量场景;灰度环境、微服务熔断和重启使问题能够控制在局部得到有效处理和解决;高度解耦的微服务架构和容器化治理使平台结构、功能和应用的敏捷迭代成为可能。在此基础上我們将能够高效、可控、便捷地构建「政府数据开放」平台并满足数据开放闭环中数据的汇聚、清洗、开放、查询、利用、反馈、反哺全环节以及运维和安全保障等方面不断激发的需求,为培育健康完整的「多元共治」的数据开放生态创造条件。

 

 

二、以海量「数据交换」完成数据开放资源汇聚

政府数据开放的基础是「数据」。有价值的数据分散于整个政府体系各部门的异构业务系统以及企事业单位和第三方平台当中。在构建数据开放整体生态的进程中,政府不仅应致力于开放自身直接掌握的可开放数据,更需要成为链接工业和生活互联网主体拥有的公共数据枢纽,发挥政府统一协调和信用背书的优势,形成多领域融合开放的格局。以政府数据开放平台为中心,以数据为链接,将形成一张错综复杂的数据汇聚网络,「数据汇聚」涉及到与众多政府部门、公共机构乃至工业网络及商业平台进行广泛数据交换。政府机构在漫长数字化转型过程中独立建设的各类异构业务系统,以及依据不同目的、不同结构、不同标准建立的工业和商业互联网平台,其用于数据交换的规则、接口、流程以及标准化程度和可机读性都不尽相同。如果数据开放平台不具备对多源异构数据的高效交换和整合能力,那么数据来源将变得极为有限,数据采集和清洗过程将耗时费力,最终平台薄弱的数据基础难以支撑有价值的数据开放,更谈不上构建多领域融合开放的高级阶段。

 

因此,我们需要利用中台的信息数据交换微服务,促成数据开放平台与大量业务系统和第三方平台间的数据进行统一交换和共享,以信息数据交换微服务提供的数据资源梳理、元数据管理、数据标准、资源注册、数据可视化等功能实现数据的汇聚、清洗、同步、转换并筛选出可供开放的数据,形成数据开放资源库。通过信息数据交换微服务实现数据开放平台与异构系统和第三方平台的多元数据聚合,将为打造多维度数据开放织就灵敏畅通的数据汇聚网络,有力充实数据资源基础,提供海量数据要素供给。

 

 

三、以全栈「数据管理」打造数据开放核心架构                                                        

当开放数据资源库已经打好基础,下一步的关键性工作在于为后台管理者和前台使用者分别建立一站式数据管理中心和数据访问用户界面,使数据拥有体现价值的载体和场所,这是整个数据开放平台的核心组成部分。「不以规矩不能成方圆」,数据开放平台的数据管理和利用需要建立完善的规则、权限和目录体系,形成规范管理和有序访问。数据开放平台关联部门众多、包含数据量巨大、面向多领域、各层次的社会主体、涉及多方权责和利益协调,如果数据开放平台缺乏全栈精细化管理手段和用户友好、直观的数据展现能力,很可能导致数据目录梳理工作陷入混乱低效,用户分权限管理困难重重,数据展现和分析手段苍白无力,给数据管理者和使用者都造成很多阻碍和不便,无法充分发挥大量优质数据的价值和潜力。

 

因此,我们需要利用中台的数据开放管理微服务,建设全栈数据开放管理后台和统一的数据开放服务门户,全栈数据开放管理后台不仅可以为可开放的数据集、接口和应用定义地域分级、领域分类、专题分类、数据类型、数据格式、提供部门、开放类型等多个维度的数据开放目录体系,结合数据开放规范,形成统一的可公开数据目录,从而有序接入开放数据库资源,同时也可以对整个开放过程进行管理,包括对外部开放的情况进行监管,以及为通过实名认证的用户提供下载数据集、调用API接口、下载或者嵌入应用等操作权限,实现数据开放分级分类管理;统一的数据开放服务门户,将数据开放按领域、来源、时效等多维度统一展现,并提供数据检索、数据获取、统计分析、互动参与、应用展示等功能框架,实现数据预览、可视化展现、分析组件和数据下载、接口访问、多渠道浏览等服务赋能。通过数据开放管理微服务高效完成全栈数据开放管理后台和统一数据开放服务门户的搭建,打造数据开放核心架构,提供前后台数据一体化治理利用的各项关键能力,实现可开放数据价值的全面升华。

 

 

四、以多维「智能检索」提供数据开放精准查询

没有被开采的黄金只是一块矿石,没有被发现的数据只是一堆死数据。当用户访问数据开放平台,面对的既是庞大的数据宝藏,也是茫茫的数据汪洋,能否快速到达自己的目标页面,甚至能否顺利获得所需的开放数据,将成为用户挖掘数据价值为自身或更多主体谋取数据红利的第一道门槛,很大程度上也将影响用户对数据开放平台「可用性」和「易用性」的主观判断。随着数据开放平台增量数据日益丰富,页面分类展现形式日趋复杂,用户通过浏览页面分类进入目标开放数据 页面的难度在不断提升;同时,多年以来互联网发展培养的用户习惯使人们在面临大量信息时倾向于通过搜索找到所需内容。面对用户真实需求,如果数据开放平台缺乏有效的智能检索工具,无法让用户以搜索直达目标,以多维度筛选剔除非相关数据,使用户能够轻松有效地获取所需数据,则会浪费数据研究和开发者大量时间和精力在毫无技术含量的翻页查找上。当用户花费大量非必要成本才能找到所需数据甚至「众里寻他千百度而不得」时,将会极大降低用户对数据开放平台的好感度和信任程度,从而寻求其他替代途径。

 

因此,我们可以利用中台的智能检索微服务,建立对平台结构、数据内容、用户行为习惯进行深度挖掘和学习的搜索服务,实现快捷、精准、全面、智能的数据检索重构,依靠大量用户检索历史不断优化算法,提供更加实用精准的数据集排序以及相关数据推荐服务。通过智能检索微服务为用户和数据间搭建起基于个性化服务的快捷走廊,让平台越来越「懂」用户,让用户越搜越「AI」平台。

 

 

五、以便捷「互动交流」响应数据开放多元诉求

在用户对平台的使用过程中,难免会遇到各种非常规问题,无法依靠平台标准化指南予以解决,需要进行专门咨询;或是通过查询发现平台未能提供所需数据或功能,希望提交诉求或建议,满足自身需要,帮助平台完善;或是在平台使用过程中产生了不愉快的用户体验需要投诉。面对多元化的用户互动交流需求,如果提供的互动渠道过于泛化和单一,那么不仅用户很难获得满意的互动体验,同时用户提交的咨询、建议、投诉等内容混为一谈,也为数据开放管理方带来筛选、转办、回复上的重重困难。

 

因此,我们可以利用中台的统一互动交流微服务,统一提供交互入口,高效完成集中管理,实现在线咨询、热线电话、数据申请、意见反馈、问卷调查等多种互动入口的统一设立和集中管理,并对互动办件进展和结果提供实时在线便捷查询。通过统一互动交流微服务,完成用户针对数据开放的咨询、申请、建议、投诉的「一门式」受理和反馈,提升数据开放公众诉求的响应效率,促进数据开放平台通过活跃的互动交流完善内部管理机制和外部用户体验。

 

 

六、以统一「应用开放」促进数据开放成果反哺

当成功获得可用的平台数据之后,一部分用户将之用于指导企业生产和管理或个人生活发展,另一部分用户则依托平台数据开发出具有很高利用价值的数字化应用,可以反过来充实数据开放平台的开放资源库。后者利用开放平台数据开发创新应用,形成「数据增值」反哺二次开放的做法,充分发挥数据价值的倍增效应,应当成为数据开放平台更为鼓励的一种数据利用模式。但是如果没有应用开发必要的相关标准、素材、组件支持,完全开发者自行建设则会使应用界面和规范完全不受约束对于中小开发者而言,受限于自身理论和技术能力,导致开发应用周期长、功能单薄、界面简陋、创新不足,平台应用生态质量参差不齐,无法完全释放平台数据赋能潜力。

 

因此,我们可以利用中台的应用开放微服务,制定应用开发规范性指南,并为开发者提供基于标准化开发的素材、工具、组件支持,降低应用开发门槛和开发难度,让开发者将主要精力集中在挖掘数据本身价值和创新上。同时,平台利用应用开放微服务获得统一应用整合管理能力,可以对应用接入、应用审核、应用发布、应用上下架等进行全生命周期的管理。通过应用开放微服务对数据开放的应用开发者提供理论支撑、工具辅助、技术赋能,规范平台应用开放流程,提升整体应用开放水平,形成生态化数据开放成果反哺。

 

 

七、以高效「运维监控」确保数据开放稳定健康

当数据开放平台的整个生态搭建日趋完善,其社会价值日益凸显,公众对数据开放平台的访问也就日渐频繁,数据开放平台本身的特性又决定了它需要与为数众多的外部系统和平台进行高频数据交换。海量数据的读写访问和大量接口的数据存取给数据开放平台的运维工作带来很大挑战,需要时刻关注后端各种软硬件支撑及网络、接口、数据、应用的可用性和稳定性,以确保前台页面和数据访问及下载无论在常规时段或并发峰值下都能保持畅通无阻,如果缺乏智能化、自动化的监控管理手段辅助平台和数据管理者实现协同运维,数据开放平台则难以形成实时化、常态化、全天候、全覆盖的运维监控体系。

 

因此,我们可以利用中台的运维监控微服务,对开放数据的状态、数据更新频率、数据连通性、下载率、使用情况、数据流向等多维度指标进行实时监控,确保开放数据可用性;对平台相关基础环境进行7*24小时监控,对发现的问题进行快速定位、实时告警以便问题得到及时处理,并可定期自动输出运维报告以供形成系统性复盘和完善建议。通过运维监控微服务打造前台访问数据和后台基础设施一体化智能监控体系,助力运维人员更高效省心地为数据开放平台的健康运行保驾护航。

 

 

八、以严密「监测预警」构筑数据开放安全屏障

数据作为国家认定的新型生产要素,其战略价值越高,非法使用的潜在风险也就越大。全球局势波谲云诡,国内外数据黑产层出不穷,数据开放平台的大规模高价值公众数据一向是网络犯罪分子眼中的一块肥肉。平台轻易被挂木马、开后门,导致公共数据和用户数据不受控地被犯罪分子非法获取和利用,其造成的影响可能不仅仅停留在经济和生活层面,甚至有可能威胁国家安全。如果缺乏嗅觉灵敏、严密可靠的自动化监测管理手段辅助数据安全管理人员实现协同安防,数据开放平台的安全保障体系则很难做到面面俱到,滴水不漏。

 

因此,我们可以利用中台的安全监测预警微服务,为数据开放平台整个前后台体系中的系统、数据、页面、应用等维度统一提供病毒、木马、防篡改等网络安全监测与防火墙服务,基于特有的白名单机制,实现指向明确的平台统一安全监测管理,大幅提升病毒和木马的识别率和处理效率。通过安全监测预警微服务,为数据开放平台打造从前台到后台、从系统到页面、从数据到应用全面覆盖的安全监测体系,从访问、存储、传输等全维度建立严密的数据安全屏障,确保政府开放的数据被合理、合法开发利用。




【打印本页】 【关闭窗口】
Produced By 大汉网络 大汉版通发布系统