浅谈大数据处理在油田GIS系统中的应用研究

在油田GIS系统中,"大数据"将信息集成与数据挖掘应用提升到一个全新的水平。通过分析油田数据库的特点,对油田GIS系统的架构进行了设计和分析。最后通过对海量数据的存储和管理、分布式并行计算的应用方法、基于SOA架构的信息共享、分片数据存储和发布等关键技术的原理和应用方式进行分析,提出了大数据处理在油田GIS系统中应用的方式和方法。     

基于NoSQL数据库的空间大数据分布式存储策略

基于关系型数据库的空间数据存储与处理是地理信息系统（geographic information system,GIS）领域的主流模式,但伴随着物联网、移动互联网、云计算及空间数据采集技术的发展,空间数据已从海量特征转变为大数据特征,对空间数据的存储和管理在数据量和处理模式上提出了新的挑战。首先分析了基于传统的集中式存储与管理模式在处理和应用大数据方面的局限性,包括存储对象的适应性、存储能力的可扩展性及高并发处理能力要求;然后在分析当前几大主流NoSQL数据库特点的基础上,指出了空间大数据基于NoSQL数据库的单一存储模式在数据操作方式、查询方式和数据高效管理方面存在的局限性;最后结合GIS领域空间大数据存储对数据库存储能力的可扩展性及数据处理和访问的高并发要求,提出基于内存数据库和NoSQL数据库的空间大数据分布式存储与综合处理策略,并开发了原型系统对提出的存储策略进行可行性和有效性进行了验证。     

分布式空间数据库在海量卫星影像管理中的应用

针对现有影像存储方法在海量卫星影像存储中性能不足的问题,分析了现有卫星影像数据存储方法的特点,提出了基于分布式空间数据库管理影像元数据的改进方法。该方法采用文件系统存储影像非结构化的实体数据,影像的空间信息及元数据存储在分布式空间数据库中,实现了海量卫星影像数据的高性能存储,并开展了资源三号卫星影像数据管理试验。试验表明该方法在海量卫星影像数据查询性能方面有显著提高,适用于海量卫星影像数据存储。     

新疆自然资源一体化数据库构建及应用

自然资源数据具有数据量大、数据类型多、价值含量高等特点,新一代信息技术为自然资源海量数据的存储、处理和应用带来了极大的便利.基于新疆自然资源数据特征,本文提出了新疆自然资源一体化数据库构建技术路线:整合后的自然资源数据按标准目录体系进行组织,通过逻辑模型设计建立数据间关联关系,基于物理模型设计实现分布式混合存储,依托影像实时发布技术与矢量瓦片技术完成数据服务发布,最终实现自然资源数据的综合管理与应用.     

SQL Server Spatial应用开发研究

空间数据库是近年来GIS研究领域的热点之一,SQL Server 2005及其后续版本提供了空间数据扩展模块,能管理海量的矢量数据,基于OGC的标准,将矢量数据的存储、分析等功能与其内核结合,并且支持T-SQL,极大地简化了GIS的程序开发.本文简单研究了SQL Server Spatial的基本功能,并且基于它开发了简单的GIS应用系统.     

大规模GNSS网分布式存储与解算方法

针对GNSS大网在海量数据存储和解算方面面临的挑战,设计了从基础设施、数据管理、计算和服务到应用的GNSS分布式存储与解算体系结构;基于HDFS改进了GNSS数据存储目录结构;基于HBase设计了GNSS数据存储表结构;基于MapReduce提出了GNSS大网分区分布式解算策略。实验搭建了分布式平台,实现了GNSS数据分布式存储、并行检索和发布以及GNSS大网分区分布式解算,存储和解算性能均得到了较大提高。结果表明,所提出的方法可用于GNSS大网数据存储和解算。     

基于GIS的土地督察大数据分析系统研究与实现

监督和审查地方政府在土地审批、供应和利用等环节是否存在违规违法行为,是土地督察部门的职责所在。为解决当前土地督察系统疑似问题分析效率低、业务覆盖不全等突出问题,依据《土地督察发现问题分类指引》,以问题为导向构建业务工作流程和大数据批量分析模型,基于自定义算法库,研究开发了土地督察大数据分析系统,实现了土地督察疑似问题快速分析和成果输出。系统在国家土地督察西安局实际应用效果较好,显著提升了土地督察工作效率。     

基于3S技术的土地督察信息系统研究

本文在分析土地督察业务流程和方法的基础上,利用海量数据管理、三维可视化、多源异构数据集成等先进技术,设计和开发了土地督察信息系统,实现对督察业务数据的统一管理、分析和辅助决策,可以满足土地督察内业分析、外业核查各阶段的业务需要,从而提高土地督察工作效率.     

镶嵌数据集框架下海量影像管理系统设计及实现

针对传统管理方式难以解决海量影像数据管理与在线使用的难题,提出了基于镶嵌数据集存储多源海量的影像数据方法,研究设计了利用在线的方式管理与调用海量影像数据库模型的方法,开发了海量影像管理系统,实现了在线方式对海量影像高效的调用、管理、打印、下载等功能。     

Oracle Spatial空间数据库的设计及应用

随着“数字城市”、“数字区域”建设的大力开展,地理信息系统需处理海量的空间数据与属性数据。而目前,两者分开的存储方式不利于数据间的共享与互操作,因此空间数据的数据库存储及此模式下应用系统的开发成为研究的热点与难点。基于此,本文介绍了OracleSpatial中空间数据的存储、管理模式,给出了VB6 . 0环境下用MapX访问空间数据库的方法,讨论了基于OracleSpatial空间数据库的应用系统开发中,空间分析的一般编程方法。     

基于GIS的综合交通空间数据管理系统研究

为解决综合交通运输空间数据海量存储、时空一体化、高效共享、实时更新等管理问题,探讨GIS在标准化、自动化和可视化的空间数据管理和应用系统构建中的独特优势,提升交通运输空间数据管理、应用和工作效率,首先从数据的组织和分类、数据库总体结构设计等方面探讨了综合交通运输空间数据库的设计思路和关键技术;然后针对传统空间数据管理系统只注重独立的业务环节,忽略数据管理与应用的结合,导致数据来源有限、数据监测与更新不及时等问题,开发了集传统空间数据管理与融合数据应用于一体的系统,与综合交通运输空间数据库形成了动态循环更新生态链,实现了综合交通运输空间数据管理、数据浏览、数据检索、数据服务、实时更新和安全维护等功能,为广东省交通运输行业各交通应用平台以及交通规划专业研究工作提供了一体化的数据支撑平台.研究结果表明,构建基于GIS的综合交通空间数据管理系统,实现了综合交通运输空间数据与属性数据标准化、自动化、可视化的海量存储和统一管理,增强了数据质量的全面监测和数据实时更新能力,提高了综合交通运输空间数据管理和规划研究的工作效率.     

基于时序数据库的CGSsafety系统设计与实现

地质调查安全保障(CGSsafety)系统对提升地质调查单位的安全生产管理和安全保障技术水平具有重要意义,然而传统的CGSsafety系统采用的关系型数据库受海量数据存储和高频次数据访问问题的制约,难以满足日益增加的北斗数据的存储和管理需求,也难以适应持久的、高性能负荷的数据存储、处理和快速读写需求.分析了CGSsafety系统对海量时空监测数据的存储和访问需求,基于时序数据库技术,阐述了CGSsafety系统的总体设计、功能实现和应用效果,从而解决了传统数据库在处理海量时空监测数据时遇到的存储容量和访问效率问题.     

基于MongoDB云计算下GML分布式集群环境搭建研究

虽然大容量服务器可以解决普通的GIS数据存储问题,但随着数据量的增大,管理存储操作越来越难。在开源MongoDB分布式文件数据库支撑下,根据MongoDB对GML海量数据的存储理论,搭建海量GML数据集群环境,构成GML分布式云计算平台,为GML在服务器集群中实现存储查询索引管理提供性能支持。     

面向B/S的在线土地督察系统构建及应用

为满足当前土地督察工作需要,本文通过构建多金字塔复合模型,利用四叉树索引技术和SDO_GEOMETRY数据类型构建了土地督察综合数据库,实现了对数据的有效组织和管理;在基于.NET平台构建了B/S构架的一站式在线土地督察系统,创建了"天上看、地上管、网上查"的信息化土地督察工作模式,实现了区域综合分析、内业审核等功能。该系统在国家土地督察上海局投入应用以来,显著提高了土地督察的工作效率,具有重要的实用价值和推广前景。     

基于并行空间数据库和GML的WebGIS系统的研究与实现

目前,对海量空间数据的快速处理与地理信息的互操作问题正制约着WebGIS的进一步发展和应用。作者对并行空间数据库和GML技术进行了探讨与研究,并采用并行空间数据库存储和管理GIS数据、GML作为其在因特网上地理信息的传输数据格式,设计和实现了一个基于WebService的WebGIS系统,取得了良好的应用效果。     

MongoDB环境下GML云存储构建研究

GML作为GIS数据共享标准,单机环境下的研究已经取得了一定成果,而面对海量数据的存储管理需求,迫切需要研究GML在分布式环境下的相关技术。在当前分布式技术和开源数据库MongoDB支持下,对MongoDB的内部存储数据结构作详细说明,设计GML云存储结构,从而提出共享式核心模式存储、隔离型GML文档和应用模式存储的GML云存储构建方案,并用MongoDB设计GML文档的存储,具有一定的有效性。     

BIM及空间大数据技术支持下的铁路隧道施工数据管理

针对铁路隧道施工项目海量异构数据存储困难、信息不共享、展示不直观、数据价值利用不充分等问题,本文利用BIM及空间大数据技术,研究探讨了隧道施工项目海量异构数据的分布式存储、网络共享、三维查询、智能分析决策等技术,实现了隧道施工项目高效的信息化管理;提出了铁路隧道BIM三维模型动态建立的技术方案,设计了隧道施工管理空间大数据的云平台框架,研发了一套铁路隧道施工空间大数据管理应用云平台;通过对平台的成功开发与应用,验证了框架体系的可行性,提高了隧道施工项目管理的信息化水平。     

基于Web地理可视化分析系统的研究与设计

气候研究涉及海量时空数据集,其产生和存储在分布式计算资源中。科学家们需要一个直观且方便地工具去研究分布式时空数据。地理可视化分析工具可直观且方便地访问气候资料、探索各种气候参数之间的关系及交流研究成果。本文对基于Web的地理可视化分析系统的研究与设计做一些探讨,阐述该系统具有以下功能：①互联网上海量数据集管理;②时空数据的2D/3D可视化;③气候研究中各种时空统计分析;④交互式数据分析和知识发现。此外,本文也为管理、分发、分析大数据提供参考。     

利用Hilbert曲线与Cassandra技术实现时空大数据存储与索引

随着越来越多的轨迹数据被记载,各种应用场景下的海量、复杂数据需要高效的存储与索引。传统的关系型数据库难以满足海量轨迹数据的存储、扩展及特定的查询需求,而具有扩展简单、读写快速、成本低廉特点的非关系型数据库为此提供了一种可行的解决方案。设计并实现了一种基于Cassandra数据库的数据降维及键值存储、索引方法,可对时空轨迹数据进行高效管理。为进一步提高效率,融合了Hilbert曲线编码技术将空间分割成小单元,并将轨迹数据映射到不同单元中。充分利用时空局部性原理,为不同应用场景下的轨迹数据设计并实现了对应的分区键与聚簇键,实现轨迹对象时空近邻存储,令数据查询更为有效。基于实际应用场景的实验结果表明,所提出的方法能有效支撑海量轨迹数据的存储与索引,并在数据的插入、查询及存储结构可扩展性等方面优于其他时空大数据索引和查询方法。     

地理数据库引擎数据模型的研究

在对Geodatabase、O rac le Spatial等常见的地理数据库引擎数据模型进行描述和分析的基础上,根据地理数据库海量地理数据存储和查询优化理论,应用目前较为热门的对象-关系数据模型技术以及三层客户/服务器体系框架,提出了满足海量、多源、多分辨率地理数据高效无缝存储和管理的较为理想的地理数据模型,并对该数据模型的特点进行了详细说明。实现了G IS开发和应用从以系统为中心到以数据为中心的转变。