轨迹大数据: 数据处理关键技术研究综述

针对轨迹大数据的高效点-轨迹k近邻（point to trajectory k nearest neighbor, P2T_kNN）查询处理需求,提出了一种融合时空剖分和轨迹分段的轨迹组织方法,其核心思想是在对轨迹作时间剖分的基础上,利用离散全球网格系统（discrete global grid system, DGGS）在空间上进行再次剖分,从而利用两次剖分得到的时空单元编码来索引落入其中的轨迹片段。在此基础上利用分布式列式存储技术设计了面向轨迹大数据的P2T_kNN查询处理框架,提出了一种顾及轨迹数据空间分布的自适应空间单元搜索算法,即通过分析轨迹数据在给定时间约束下的空间分异特征,动态调整空间单元的搜索步长,从而提升了轨迹稀疏区域的处理效率。针对亿级轨迹的实验结果表明,该方法适用于轨迹大数据的P2T_kNN查询处理,在轨迹稠密与稀疏区域的平均查询响应时间均小于1 s。     

基于NoSQL数据库的空间大数据分布式存储策略

基于关系型数据库的空间数据存储与处理是地理信息系统（geographic information system,GIS）领域的主流模式,但伴随着物联网、移动互联网、云计算及空间数据采集技术的发展,空间数据已从海量特征转变为大数据特征,对空间数据的存储和管理在数据量和处理模式上提出了新的挑战。首先分析了基于传统的集中式存储与管理模式在处理和应用大数据方面的局限性,包括存储对象的适应性、存储能力的可扩展性及高并发处理能力要求;然后在分析当前几大主流NoSQL数据库特点的基础上,指出了空间大数据基于NoSQL数据库的单一存储模式在数据操作方式、查询方式和数据高效管理方面存在的局限性;最后结合GIS领域空间大数据存储对数据库存储能力的可扩展性及数据处理和访问的高并发要求,提出基于内存数据库和NoSQL数据库的空间大数据分布式存储与综合处理策略,并开发了原型系统对提出的存储策略进行可行性和有效性进行了验证。     

利用Hilbert曲线与Cassandra技术实现时空大数据存储与索引

随着越来越多的轨迹数据被记载,各种应用场景下的海量、复杂数据需要高效的存储与索引.传统的关系型数据库难以满足海量轨迹数据的存储、扩展及特定的查询需求,而具有扩展简单、读写快速、成本低廉特点的非关系型数据库为此提供了一种可行的解决方案.设计并实现了一种基于Cassandra数据库的数据降维及键值存储、索引方法,可对时空轨...     

数据快速查询的设计与实现

本文首先从地图显示技术的现状及用户有需求出发，论述了提高地图显示速度的迫切性和必要性，其次，提出一种通过建立区域索文件实现地图数据快速显示，查询，统计的新思路，并以1：25万入库数据为例，论述了数据的组织和预处理，索引文件的建立以及实现图形快速显示等问题。     

自然资源大数据三维应用平台的设计与实现

以《自然资源部信息化建设总体方案》为指导,依据相关技术标准与规范,从“一个网、一张图、一个平台”的技术要求入手,整合各类地理信息数据资源,建设并持续更新二、三维地理信息数据库,设计二、三维地理信息管理展示平台的技术框架,明确平台组件及功能,形成基于自然资源大数据一体化的三维展示和分析平台。该平台功能不仅包括提供海量空间数据的管理、三维数据全要素实时在线更新、三维GIS分析及应用,还涵盖了地上、地表及地下的三维空间建模和可视化展示等功能,为自然资源相关的三维数据生产、数据库建设、功能模块设计等提供支撑和保障。     

一种面向并行空间数据库的数据划分算法研究

面向基于对象关系型数据库而构建的并行空间数据库系统,提出了一种基于Hilbert空间填充曲线的适合于矢量空间数据的数据划分算法。在充分考虑空间信息的海量特征以及矢量数据存储记录的不定长等特点的前提下,该算法可实现并行空间数据库中海量空间数据记录在多个存储设备上的均衡划分,以避免出现数据倾斜现象,从而提高了空间数据的检索与查询效率。     

农作物气象保障服务平台研究进展与存在的问题

阐述了农业遥感等数据平台系统的国内外研究现状,分析了有关农业遥感大数据服务的多源遥感数据融合、作物类型精准识别、作物产量估产机理研究以及遥感大数据研究面临的技术问题,提出了气象保障大数据的尺度转换和气候变化对农业生产影响中遇到的问题。该平台的建立需要全面整合专家智慧、遥感技术、大数据、服务方式等研究理论和技术,将深刻改变农业遥感应用模式,提升气象服务能力,推动农业、气象等综合信息的广泛应用与产业化发展。     

不动产登记地籍与房产数据整合建设关键技术研究

为保障不动产统一登记的全面快速推进,必须根据相关标准将现有分散存放、格式不一、介质不同的不动产登记信息进行梳理、规范、整合,建设成不动产统一登记数据库。据此,分析了各地不动产数据管理现状,着重介绍了不动产登记地籍与房产数据整合建设的主要内容、工作重点和技术流程。     

空间大数据在MongoDB中的存储探索

最近几年,IT技术,特别是云计算和大数据技术的发展,给传统的地理信息软件平台带来了很大变革.作为地理信息的核心技术之一,空间数据存储技术在地理信息软件平台中发挥着重要的作用,是实现高效的空间查询和空间分析的技术基础.面对数据量的爆发性增长、数据类型的增多等大数据问题,传统的关系型数据库很容易遇到存储瓶颈,存在诸如存储效率低、并发访问能力弱、横向扩展难等问题,这使得发展新的空间大数据存储技术势在必行.为解决传统关系型数据库在面对海量多源异构数据存储时遇到的上述问题,本文利用分布式存储NoSQL数据库进行了空间大数据存储和查询的技术探索,并通过一系列实验证明MongoDB数据库是一种有效的存储空间大数据的方法.     

自然资源大数据助力的城市可持续发展评估

针对传统统计面板数据、网络众源数据等在城市可持续发展评价与信息化建设过程中存在的类型单一、准确性及时空分辨率不一、更新效率低等问题,该文充分发挥自然资源监管大数据覆盖要素广、时空多维度、常态化更新等优势,重构了一套城市可持续发展指标评价体系,综合计算城市可持续发展进程。以指标评估模型方法为基础进一步优化设计了城市可持续发展评估信息化建设方案,通过全面整合自然资源监测、社会经济等数据,构建可持续发展大数据中心,实现了以自然资源大数据为主的多源异构数据统一管理,同时以此为基础开展了城市可持续发展时空大数据平台建设实践。平台在精准评估诊断城市可持续发展状态的同时,为政府可持续发展决策与目标达成提供了一种新的手段,也为自然资源大数据利用开发了一种新的场景。     

自然资源管理背景下的时空大数据平台建设

由于自然资源机构改革,测绘地理信息工作成为自然资源统一管理工作的组成部分。时空大数据平台如何在新的组织机构下发挥作用,是当前急需研究的问题。为此,本文在分析了自然资源管理的需求后,提出了时空大数据平台建设的技术路线和时空大数据服务自然资源管理的建设思路。     

时空大数据服务平台建设模式及应用研究——以重庆市为例

近年来,国家提出大数据战略,并大力发展数字经济,时空大数据作为推动大数据智能化、数字经济发展的重要基础,对时空数据汇聚、快速更新、智能处理、多源融合、高性能服务、支撑多应用场景等方面都提出了更高的要求。本文围绕如何构建时空大数据资源,实现时空大数据智能化处理,提供时空大数据服务等多个方面提出了时空大数据平台的建设方法、模式及技术思路,并结合已开展的智慧应用,对新时代的时空大数据平台建设服务模式进行了探索。     

智慧城市时空大数据平台下自然资源档案管理系统的升级与改造

随着智慧城市时空大数据平台的建成,依托其时间的可追溯性、空间的全面性、数据类型的多样性,自然资源档案管理系统有了较大的升级改造空间。本文通过对智慧城市大数据平台中时空信息大数据、时空信息云平台、支撑环境、智慧应用示范4个方面建设内容的分析,研究了如何通过对自然资源档案管理系统中的档案数据整理入库功能进行升级、对系统功能模块进行改造,以实现自然资源档案的图、数、档一体化管理,从而满足自然资源部门对档案的管理与使用需求。     

海南省遥感大数据服务平台建设与应用示范

空间信息技术产业是国家战略性新兴产业。遥感技术的多元化应用和海量数据使得空间信息技术与大数据时代接轨成为现实。海南省是中国最大的省级经济特区。依靠独特的自然地理环境,海南省目前正在实施国际旅游岛、南海战略和21世纪海上丝绸之路重要战略支点等国家战略;坚持生态立省的原则,海南省也是国家生态文明试验区。2016年立项的海南省重大科技计划——"海南省遥感大数据服务平台建设与应用示范"项目,以天空地一体化的空间科技为切入点,基于遥感、导航、GIS等天空地一体化技术手段,建设以海南遥感大数据云为代表的大数据基础设施和智能化共享服务平台,实现海南省典型行业的空间技术应用示范,满足面向新时期海南省社会经济发展中对空间信息产品的快捷、准确、个性化共享服务需求。项目重点攻克了大规模空间观测数据和信息产品共享中的多项关键技术难题,消除目前空间数据分散和信息孤岛现象,提高空间信息获取的准确性和时效性,实现信息资源共享和高效服务。在天空地一体化遥感大数据服务平台下,项目围绕海岸带、农业、林业、旅游、城市环境等典型行业领域开展应用示范,构建省级典型行业领域应用服务信息系统,提供及时有效的动态监测信息和科学决策,以进一步提升政府部门在资源环境管理方面的能力和水平,实现全省资源、环境、经济、社会协调可持续发展。     

智慧城市时空大数据平台建设的问题思考

针对时空大数据平台早期建设过程中暴露出来的数据汇聚难、更新不及时、服务不智能、应用不聚焦等问题,该文围绕新时期机构改革后测绘地理信息的工作定位以及新型基础测绘体系的技术变革,在变化发现增量更新、多尺度联动更新、网络抓取汇聚更新、平台智能化改造以及示范应用聚焦选取等方面提出了时空大数据平台建设的技术思路。结合正在开展的智慧城市时空大数据平台建设试点,探索了为自然资源“两统一”职责行使提供主动与智能服务,为政府各部门提供基础性公共信息服务的试点建设新模式。     

地理国情大数据研究框架

地理国情监测作为大数据时代测绘地理信息领域一个新的、重要战略方向,其发展迫切需要顶层设计与新型技术的支撑,需要建立一种灵活、高效、低成本的大数据处理模式与服务方式。本文以地理国情监测与大数据研究相结合为切入点,阐述了地理国情大数据的分类及特点,提出了云计算环境下地理国情大数据研究架构,并从地理国情大数据存储、处理、挖掘、应用服务4个方面探讨了地理国情大数据云平台建设思路。本文将有助于地理国情监测的生产方式与服务模式变革,推动地理国情监测的广泛应用与产业化发展。     

全球变化大数据的科学认知与云共享平台

本文是国家重点研发计划"全球变化及应对"专项之"全球变化大数据的科学认知与云共享平台"项目介绍。针对中国全球变化数据"数据海量、信息缺乏、知识难觅"的困局,项目力图通过联合中国对地观测领域、大气科学领域、气候变化研究领域的优势力量,建成具有中国特色的全球变化大数据共享平台,践行破除信息数据"深藏闺中"的壁垒。该平台将集大数据快速汇聚、大尺度产品快速生成、不确定性分析、大数据驱动的全球变化敏感因子认知于一体,一方面为中国全球变化研究提供中国区域最好的全球变化大数据集,另一方面为在国际相关活动中,掌握全球变化问题的主导权,发出中国的倡议与声音提供应有的支持。     

基于大地图的地理信息服务模式

当前中国已经进入智慧城市快速发展的阶段,大数据为智慧城市提供了强劲的数据支撑,是智慧城市发展不可缺少的核心内容。该文以众多智慧城市建设项目、科研项目为基础,论述了"新时代"大地图与大数据的关系,重点研究了大地图对地理信息行业服务模式的变革,在这项研究中融合了相关的业务模型,为智慧城市建设中地理信息服务模式的发展提供思路。     

省市县三级自然资源数据应用模式研究

自然资源管理工作涉及诸多方面,随着信息化的发展,各种信息系统相继建立起来,用以支撑不同的业务,也逐渐积累了大批的数据成果,包含了自然资源领域的不同专题。这些成果投入应用提升了自然资源的公共服务能力。大数据的到来,要求部门之间要紧密联系,融合共享。而现实是信息系统仍然相互独立,给自然资源大数据的应用带来了障碍。本文以广东省建设用地审批系统作为案例,通过对自然资源省市县三级应用模式展开研究,提出了基于ESB总线的自然资源省市县三级应用服务技术,探讨了其研究方法、系统设计和工作模式,为该技术的应用和推广提供参考。     

室内位置云平台关键技术研究

针对室内定位普遍存在的连续性和可用性问题,该文研究搭建了位置服务私有云,实现了室内混合云定位关键技术。利用硬件资源虚拟化,实现了动态部署、弹性计算、按需调配的云计算服务。提出了信标节点校正和自主轨迹推算的混合云定位技术,改进了室内定位的连续性和可用性,定位精度达到了约2m。利用微服务管理调度技术及其云推送服务组件,解决了大规模用户在线服务和数据通信瓶颈。开发了大众位置服务云端软件和终端APP,集成了室内地图、混合云定位服务,实现了室内位置云服务。