海量GNSS小文件云存储优化方法研究

GNSS数据量呈指数级趋势增长,Hadoop分布式文件系统（HDFS）解决了海量GNSS数据存储瓶颈的难题,却面临内存占用多、文件相关性差和缺乏优化机制的问题。针对HDFS处理海量GNSS小文件效率不高的问题,结合GNSS数据类型、特点以及存储过程,提出了一种新的GNSS小文件云存储方法,优化了GNSS小文件的写入、读取、添加和删除策略。该方法分别按观测文件和解算成果的类型进行合并,对合并后的文件构建压缩Trie树索引,索引切分后,根据匹配算法分布式地存储索引块。实验采用国际GNSS服务（IGS）28 d的数据和产品进行云存储优化。结果表明,该方法降低了各节点内存消耗,提高了海量GNSS小文件写入、读取和删除的效率,实现了对海量GNSS小文件的高效云存储。     

云环境下的时空数据小文件存储策略

云环境下的网络应用中存在着海量的时空数据小文件针对HDFS处理小文件效率不高的问题提出了一种结合用户访问规律与数据自身属性的数据处理方案 该方案将用户访问转化为数据请求序列根据数据的时空属性提取并构建特征序列通过模板匹配找到用户在不同访问模式下的特征模板发现模板内文件之间的访问相关性合并相关文件 实验结果表明该方案有效地提高了系统对小文件的存储读取效率减小了网络应用的响应时间     

海量连续运行参考站网数据云存储模型

国家、区域、行业级连续运行参考站网的不断建成及连续观测,连续运行参考站网的数据量呈几何倍数增长,面对海量连续运行参考站网数据,集中式数据管理的可靠性、扩展性、抗灾性和容错性受到限制,云存储将网络中的大量存储设备协同起来工作,具有高抗灾容错性、高扩展性、高数据写入和读取性能,同时支持大吞吐量数据的并发访问,可实现连续运行参考站网数据的高效管理。基于分布式处理平台Hadoop,提出了连续运行参考站网数据云存储模型,可将已建成的连续运行参考站网站、数据中心纳入到云存储集群。实验搭建了Hadoop集群,利用中国大陆构造环境监测网络数据,建立了存储目录,执行了连续运行参考站网数据上传、下载、生成指定采样率文件等操作,测试了集群的可靠性、扩展性、抗灾容错性和下载速率。作为新的连续运行参考站网数据管理方式,云存储提高了连续运行参考站网数据的管理效率。     

一种海量空间数据云存储与查询算法

针对传统的空间数据库管理方式在可扩展性、容错性和成本上难以满足分布式海量数据管理需求的问题,提出了基于开源大数据平台HBase的海量空间数据管理方案。根据空间数据操作方式的局部性特征,对存储于云平台中的空间数据,使用空间四叉树模型组织栅格数据,引入Z序空间填充曲线组织矢量数据,并建立空间索引,利用两步查询法(过滤和精化)进行空间查询。该方案在继承了HBase平台易于横向扩展、伸缩性和容错性强等特性的同时也保证了空间查询效率。基于此方案,设计实现了云空间地图服务系统CGMapServer。测试表明,该系统在高并发情况下对大数据集的空间查询响应具有较好的实时性。     

基于HDFS的海量激光点云数据分块存储方法研究

在研究HDFS（Hadoop Distributed File System）分布式文件系统的基础上,构建了激光点云数据的数据结构,根据此结构对海量点云数据的文件分块存储方法进行研究,并通过仿真实验验证分块存储的有效性。     

基于NoSQL的机载LiDAR海量点云数据分布式存储

机载LiDAR点云数据是遥感大数据的重要组成部分,其海量化的趋势日益显著。本文设计并实现了基于NoSQL的海量机载LiDAR点云分布式存储模型,解决了海量机载LiDAR点云数据的高效存储问题。通过建立基于虚拟格网与线性八叉树的海量机载LiDAR点云数据组织结构,设计了基于虚拟格网号与Morton码的海量机载LiDAR点云数据标识唯一编码;提出了基于HBase的海量机载LiDAR点云数据存储策略,实现了键值和表结构的优化设计;最终实现了海量机载LiDAR点云数据的高效存储和快速查询。     

Hadoop框架下海量影像数据库管理系统的研究与实现

针对传统影像管理方式不能进行T级及以上量级影像数据管理的难题,基于开源分布式云平台Hadoop框架,研究设计了云计算环境下的遥感影像数据组织模型（RSC-DOM）,利用镶嵌数据集技术、影像无缝集成技术等多种新技术,构建了海量影像数据库管理系统,实现了海量影像数据的高效组织、管理及应用。     

基于Hadoop的地理实体对象化存储方法

基于Hadoop平台及其核心技术,结合面向对象技术,将地理实体在Hadoop环境下进行对象化封装,并将构成时空对象的最小单元——元对象作为最小存储单元,构建基于Hadoop的时空数据存储模型,并提出了Hadoop环境下的时空数据并行化查询算法.     

海量城市空间数据的文件管理方法及应用

提出一种海量城市空间数据的文件管理方法，给出相应算法。对北京市4D产品数据的管理实验表明，该方法是一种投资少，见效快的实用方法。     

基于RDBMS地理数据一体化存储初探

介绍了地理数据存储方法的特点，进行了一体化数据结构设计，并分别对文件形式和数据库管理地理数据在存取效率和查询速度方面进行了比较和研究，证明了地理数据一体化存储的先进性。     

云存储中面向访问任务的小文件合并与预取策略

针对云存储中通用分布式文件系统的小文件问题,改进概率潜语义分析(PLSA)模型,提出了一种面向用户访问任务的小文件合并与预取策略。该策略分析用户的访问任务、系统应用和访问文件之间的关系,根据任务合并小文件,并基于任务的转移概率预取文件。对建立的效率模型的分析和基于HDFS的数字城市原型系统实验结果都表明,此策略有较高的预取命中率,可以有效减少元数据服务器的负载和用户请求响应时延。     

地理国情海量数据云存储技术设计研究

研究了地理国情海量数据特征及数据内容,针对目前数据存储中存在的问题,研究了云存储概念及相关的关键技术,采用HDFS技术提出了云环境下地理国情海量数据组织与资源共享的云存储模型,通过云应用服务接口访问云存储服务,能够有效解决地理国情数据资源海量存储和服务问题,为地理国情数据管理方式的转变提供借鉴。     

大规模GNSS网分布式存储与解算方法

针对GNSS大网在海量数据存储和解算方面面临的挑战,设计了从基础设施、数据管理、计算和服务到应用的GNSS分布式存储与解算体系结构;基于HDFS改进了GNSS数据存储目录结构;基于HBase设计了GNSS数据存储表结构;基于MapReduce提出了GNSS大网分区分布式解算策略。实验搭建了分布式平台,实现了GNSS数据分布式存储、并行检索和发布以及GNSS大网分区分布式解算,存储和解算性能均得到了较大提高。结果表明,所提出的方法可用于GNSS大网数据存储和解算。     

吉林省测绘档案综合管理系统的研究与开发

针对测绘档案资料管理的现状及其存在的问题,着重讲述了研发测绘档案综合管理系统的必要性和关键技术,简要描述了系统的功能。     

湖北交通运输大数据存储应用平台设计与实现

针对当前湖北省交通运输数据的存储管理与应用瓶颈,结合目前大数据技术的发展背景,本文基于Hadoop生态体系设计与实现了针对湖北交通运输业务的大数据存储分析平台。文中从总体架构、存储结构、扩展架构、数据接入与治理、分布式任务调度的设计实现到平台的应用场景进行了论述,并使用10年的高速公路数据与具体业务场景对平台进行了存储与效率实验。实验结果表明,相比传统关系型数据库,该平台在数据存储、查询计算方面均具有非常明显的优越性。     

基于Hadoop的地质大数据融合与挖掘技术框架

地质领域数据量大,且种类多样。实现高效的多源异构地质数据的融合与挖掘,是研究地质作用机理,展开地质考察研究的重要手段。然而目前普遍存在着数据条块分割,格式各异,难以实现有效的共享与互操作。为此,本文提出了一种基于Hadoop的地质大数据融合与挖掘技术框架,该框架包括统一的地质大数据采集与预处理方法,基于元数据索引的存储与管理平台,基于Map/Reduce的地质大数据并行化计算模式与系统,面向可重用的地质大数据挖掘服务,以及支持在线三维展示的地质大数据分析结果可视化系统。该框架具有良好的实用性与可扩展性。本文在5个节点的测试系统上实现了多元素关联性分析,并取得了相对应单台机器3部的加速可比性。     

海量3维数据高效组织及集成研究

随着“数字城市”的推进,3维地理信息系统得到快速发展和广‘泛应用,产生了海量的3维地理空间数据,对3维空间数据的集成管理、并发访问、数据安全研究成为热点．市场对3维仿真系统和地理信息系统融合和统一需求日益迫切。针对“3维数字城市”建设新需求,本文在海缝3维场景组织、空间索引建立和基于关系数据库的存储等方面开展研究．为海量3维空间数据组高效组织和集成管理提供了一条有效途径。     

面向移动测量系统的城市部件采集快速入库技术

为提高城市部件采集入库的效率和精度,本文针对移动测量系统采集数据的特点,提出了一种城市部件批量赋值的快速入库方法。通过构建字典编码和元数据系统表,实现了城市部件图层的批量生成;通过字典域-字典项结构树和要素属性拷贝,实现了部件属性的批量录入。试验结果证明,批量赋值快速入库方法既可提高部件入库的效率,又可保证部件入库的精度。     

黑龙江省、市、县三级时空信息云平台总体框架设计

分析了黑龙江省数字城市建设过程与应用存在的问题,根据GIS云平台的特点和运维管理优势,阐述了黑龙江省、市、县三级时空信息云平台的建设目标、总体框架及三级框架结构,介绍了云平台的功能设计。