国家基础地理信息中心数据存储网格建设

在较为全面介绍存储网格技术的基础上,结合国家基础地理信息中心海量数据存储管理的特点和用户需求,提出了可行的数据存储网格设计,着重对元数据管理、存储虚拟化和资源调度优化等方面进行了讨论,并对具体实施提出了建议。     

基于MongoDB的矢量空间数据云存储与处理系统

近年来,海量空间数据存储与处理日益成为地理信息科学领域的研究热点。其中,矢量空间数据更因其较高的复杂性,成为该类研究的重点问题。本文基于文档数据库,探究了多用户数据存储、矢量空间数据存储、海量矢量空间数据并行处理等问题,给出了存储和处理矢量空间数据的方法。在三层式云存储架构基础上,设计并实现了矢量空间数据云存储与处理系统VectorDB,达到了海量矢量空间数据的高效存储与处理要求。系统采用文档数据库MongoDB存储矢量空间数据,使用OGR库实现不同格式矢量空间数据的转换与存储,并用Hadoop对数据库中的数据进行并行计算,以及用mongo-hadoop作为MongoDB与Hadoop之间的连接器。通过实验对比了VectorDB与PostGIS的矢量空间数据读写性能,并分析了VectorDB与MongoDB在海量数据并行处理性能方面的差异。结果表明:VectorDB具有更好的读取性能和海量数据处理性能,适合多用户不同格式、不同属性矢量空间数据存储,对海量矢量数据存储与处理问题具有参考价值。     

地质科学大数据统合应用的基本问题

进行地质科学大数据统合利用,涉及一系列理论、方法和技术问题,包括:多源多类异质异构地质数据的采集、存储和管理问题;数据汇聚、集成和结构化、可视化转换问题;数据同化、融合问题和深度挖掘、广度聚联问题;地质大数据有效利用的方式、方法和途径问题,以及云服务的模式和系统架构问题。所面对的挑战是实现结构化-半结构化-非结构化数据、静态勘查数据与动态监测数据的一体化存储、管理、处理和应用,以及大数据与小数据、混杂性数据与精确性数据、模型与数据、有模型与无模型、关联关系和因果关系的矛盾与统一问题。      

基于Hbase的地震大数据存储研究

提出一种基于Hbase的地震大数据存储方法,通过搭建测试平台、Java语言开发测试程序,并与MySQL在存储、查询结构化与非结构化数据方面进行性能对比。结果表明,Hbase存取地震数据耗时更低,在数据量多时,其性能更加显著。     

地理空间矢量数据精准加密核心技术研究和应用

近年来,随着测绘技术的日渐成熟和电子信息技术的迅猛发展,地理空间矢量数据在自然资源、农业农村、不动产等多部门得到广泛应用。加之国家安可计划的推进,保障矢量数据安全成为当前地理空间信息发展的关键。通过研究AutoCAD图形底层数据库,运用ObjectARX开发技术,为测绘生产数据精准加密开发了相应程序。     

地学大数据技术研究实验平台GeoBDA

信息化时代不可避免地来临,随着地质数据的数据量的飞速增长,地质数据也正式归类到了大数据中。应势,国土资源部地质信息技术重点实验室建设了地学大数据技术研究实验平台GeoBDA,用以解决地质大数据的存储和管理等问题。     

基于Cortex-A7内核与板载eMMC的烈度速报终端数据存储单元的设计

传统烈度速报终端数据存储大多采用SD卡或TF卡,这两种存储方式存在紧急掉电易丢数、稳定性差、读写速率慢、数据下载过程繁琐等问题。针对这些问题,设计了一款烈度速报终端数据存储单元,选用i.MX 6UltraLite应用处理器为控制系统,通过Linux系统编译eMMC ROM模块实现软件设计,在现有的硬件基础上优化eMMC读写性能和稳定性。     

可扩展的分布式矢量空间数据库集群原型系统研究

空间数据获取手段呈现多样化,其数据集每天以PB级的速度在增长,如何高性能地存储、高效处理海量空间数据成为重点问题。基于空间数据库集群系统,提出了Geohash的矢量空间数据分片存储方法,通过该分片方法实现了空间数据的并行导入、分布式矢量空间数据查询。通过实验分析了分布式矢量空间数据库在真实数据集以及虚拟数据集下的读写性能。实验表明:考虑空间分布特征的分布式空间数据库集群在空间查询性能和并发访问性能方面具有更好的扩展性。     

多源空间大数据的获取及在城市规划中的应用

在当前数据爆发式增长的背景下,通过对互联网大数据的获取、处理,将数据成果更好地应用于城市规划研究中。通过对互联网数据获取、清洗、存储及在城市规划中的应用,使数据的获取方式和手段更加的多样化,对城市规划的研究起到了基础的支撑作用。不同数据源、不同数据精度和不同数据模型的地理数据融合理论与方法的研究,对于降低地理数据的生产成本,加快现有地理信息更新速度,提高地理数据质量有着重要的现实意义。对于改进传统的城市规划理念,以及科学的指导城市规划有重要的意义。     

地质调查数据容灾技术方案的研究

在公益性地质调查工作的逐步开展过程中,地质数据正以指数方式快速增长,大量优质的数据带来丰富信息的同时,数据丢失和损坏的危险性也在逐渐加大.文章从设计原则及总体规划、存储方案、容灾测试等几个方面探讨地质调查数据容灾技术方案,结合实际情况提出一些合理建议,旨在对现有的地质调查数据进行容灾管理及有效防止数据泄密和数据损失.     

格网技术对地理信息系统应用与发展影响的分析

格网技术作为新一代的 Web技术 ,必将深刻影响地理信息系统的发展。格网计算为数据密集型空间分析提供了计算资源支持。数据格网为海量空间数据分布式存储、管理、传输、分析提供了一体化的解决方法。格网技术为 VRGIS实时场景渲染和海量场景数据存储以及 GIS互操作问题的解决提供了一种新的思路。利用格网中的智能体组件动态组装应用软件将对 GIS应用开发方式产生重大影响。通过建立空间信息格网可以实现我国地理信息系统产业跨越式发展。     

采用镶嵌数据模型建设与浏览地理国情影像库

针对传统栅格数据模型管理地理国情普查影像成果数据存在的问题,通过分析镶嵌数据集模型的特点以及海量影像数据分级、分层、分块的存储机制,结合镶嵌数据集模型进行海量遥感影像数据管理的一般流程,阐述了影响镶嵌数据集入库速度和浏览性能的几个主要因素,并对这些主要参数的调优方法进行了分析及实验验证。     

瓦片数据版权保护方法及应用研究

 随着"天地图"等网站的建设与不断发展,地理信息资源的共建共享得到了积极推动。然而,网络环境下瓦片数据非法下载、违法使用等安全问题日益严重和突出,如何保护网络环境下瓦片数据版权是当前迫切需要解决的问题。为了节省存储空间,海量瓦片数据存储方式往往采用索引机制,这种存储机制与常见的图像、栅格地图等数据对水印技术的要求不同。本文首先着重分析了采用索引机制存储的瓦片数据特征及其对水印技术的要求;在水印信息生成方面,采用了m序列生成无意义水印信息,而在水印嵌入方面,提出了映射机制的瓦片数据数字水印嵌入算法,采用红色和绿色通道生成的映射函数,将水印信息嵌入到蓝色通道中,其中水印检测为水印嵌入的逆过程;最后,实现了水印技术的瓦片数据实时版权保护系统,并通过了实例验证。     

一种地名地理实体数据自动获取方法

以提高地名地理实体数据自动化生产程度为切入点,充分利用矢量基础地理框架数据成果,提出了一种地名地理实体数据自动获取方法。首先结合矢量基础地理框架数据的数据分布特点,制定了合理的地名地理实体数据自动提取策略;在此基础上,针对所提取的数据集存在重复地名、同一地名的地理实体数据存储分散或被动分割等问题,通过设计有效的地名匹配策略,对同一地名进行去除重复处理,在此基础上将对应的地名地理实体数据进行归并处理;最后,结合实体数据的组织特点,建立了适合于点、线、面、多点、多线、多面、几何集合等不同类型的地名地理实体数据重组方法,实现对地名地理实体数据的空间重组。实验表明,采用所提出的方法,不仅能有效地获取地名地理实体数据,满足地名工程建设需求;而且改变了传统的数据生产模式,充分利用了现有数据成果,避免了地名地理实体数据的重复建设。该方法的提出为地名相关工程建设中地名地理实体数据的生产、更新提供了一种新思路和新方法。     

环境背景数据的分类编码与应用

以环境背景数据为研究对象,通过对语义时间、存储格式、记载介质、负责机构、专题信息等属性特征的分析,提出完整的环境背景数据概念;强调环境背景数据的分类编码,应侧重环境背景数据的发现,并着重讨论分类编码的贯彻实施应以元数据为标准载体,在统一的环境背景数据分类编码无法确定时,利用核心元数据中的关键字字段实现分类编码的间接引用,确保元数据标准对不同系列分类编码的兼容并包。     

海量、异构矿业权核查数据的查询与优化

矿业权核查单个矿业权成果数据具有文件小、数量多、异构、多源等特点,对从海量、异构核查成果数据中快速查询并提取数据提出了挑战。本文探讨并建立了科学合理的数据模型,并提出综合应用表分区、存储过程、优化查询语句等数据库技术,有效提高了核查成果数据的访问与提取效率,为相同或类似应用需求提供了参考。     

我省国土资源信息化工作进展顺利

一、数据统筹管理方面一是出台了《黑龙江省国土资源数据汇交与管理办法》,以文件的形式下发全省。二是从数据内容、格式、标准、类型等方面进行深入调研,首先摸清数据新不新、全不全、准不准以及存储于何处的底数,然后以厅督办函的形式,要求各业务主管部门向厅数据中心进行数据汇交。三是对已汇交数据进行数据整合、坐标转换等加工处理,统一纳入国土资源数据中心和“一张图”当中,     

基于融合技术的结构性栅格时空数据平台的构建

时空数据融合是当前研究地理现象空间格局的数据存储、处理方法与有效途径。在构建国家资源环境时空数据平台过程中 ,我们设计了基于 1 km栅格单元的土地利用现状与变化数据库。这种时空数据表达方式的优点 :(1 )在保持面积信息不损失情况下明显减少了数据存储量 ,并且满足区域分析的空间尺度要求 ;(2 )便于多时间序列的数据存储与变化分析 ,以及变化专题信息提取与结果显示 ;(3)有利于区域土地利用变化环境背景与驱动力分析 ,可以实现与其他多源数据的有效融合 ;(4 )从小尺度到大尺度的空间尺度转换非常便利 ,在空间聚合的基础上能够快速实现从区域分析扩大至国家尺度、全球尺度的分析。     

全数字加密与测图定向的自动导入

目前使用的航空摄影测量全数字自动空三加密软件有两套,一套为VZ、另一套为GXP-AAT.两套加密软件各自独立,只与本系统开发测图软件联机(导入信息、数据),它制约了设备的有效地使用和生产的顺利进行.通过软件开发,实现对GXP-AAT加密与Virtuozo NT测图的联机、定向数据自动导入.     

基于NoSQL的海量空间数据云存储与服务方法

近年来,实现海量空间数据高效地存储管理和在线服务,成为地学信息科学领域日益关注的热点问题。本文根据矢量和栅格空间数据的不同特点,提出并实现了矢量栅格数据一体化的海量空间数据分布式云存储管理与访问服务方案,在海量矢量数据存储和处理中创新性引入分布式图数据库Neo4J和并行图计算框架。在三层式空间数据云存储架构基础上,给出NoSQL数据库技术的栅格和矢量数据云存储的实现策略与方法,并开展了通用数据访问接口的设计。采用分布式文件系统HDFS存储栅格数据,并使用列族数据库HBase对其建立分布式空间索引,及采用满足ACID约束的分布式图数据库Neo4J来存储矢量数据,并使用R树建立空间索引。在自主研发的地理知识云平台GeoKSCloud框架下,初步实现了核心组件-空间数据聚合中心(GeoDAC)软件,可为各类用户提供空间数据分布式存储管理和访问服务。通过搭建试验床,开展GeoDAC与开源GIS软件PostGIS在矢量数据读写访问性能方面的对比测试。结果表明,虽然GeoDAC没有获得写入性能的加速作用,但其具有PostGIS无法比拟的强大读取性能。GeoDAC将海量数据经过空间分割后分布在集群上,能够并行处理查询请求,极大地提高空间查询速度,具有广阔的应用前景。