一种结合RDBMS和Hadoop的海量小文件存储方法

提出了一种综合利用RDBMS和Hadoop云存储各自优势、同时避免各自缺陷的海量小文件存储方法。原型系统实验表明,该方法可以满足"数字城市"应用中小文件的存储需求,同时,也可作为其他具备结构化特征的海量小文件数据存储系统。     

海量连续运行参考站网数据云存储模型

国家、区域、行业级连续运行参考站网的不断建成及连续观测,连续运行参考站网的数据量呈几何倍数增长,面对海量连续运行参考站网数据,集中式数据管理的可靠性、扩展性、抗灾性和容错性受到限制,云存储将网络中的大量存储设备协同起来工作,具有高抗灾容错性、高扩展性、高数据写入和读取性能,同时支持大吞吐量数据的并发访问,可实现连续运行参考站网数据的高效管理。基于分布式处理平台Hadoop,提出了连续运行参考站网数据云存储模型,可将已建成的连续运行参考站网站、数据中心纳入到云存储集群。实验搭建了Hadoop集群,利用中国大陆构造环境监测网络数据,建立了存储目录,执行了连续运行参考站网数据上传、下载、生成指定采样率文件等操作,测试了集群的可靠性、扩展性、抗灾容错性和下载速率。作为新的连续运行参考站网数据管理方式,云存储提高了连续运行参考站网数据的管理效率。     

大规模GNSS网分布式存储与解算方法

针对GNSS大网在海量数据存储和解算方面面临的挑战,设计了从基础设施、数据管理、计算和服务到应用的GNSS分布式存储与解算体系结构;基于HDFS改进了GNSS数据存储目录结构;基于HBase设计了GNSS数据存储表结构;基于MapReduce提出了GNSS大网分区分布式解算策略。实验搭建了分布式平台,实现了GNSS数据分布式存储、并行检索和发布以及GNSS大网分区分布式解算,存储和解算性能均得到了较大提高。结果表明,所提出的方法可用于GNSS大网数据存储和解算。     

云环境下的时空数据小文件存储策略

云环境下的网络应用中存在着海量的时空数据小文件针对HDFS处理小文件效率不高的问题提出了一种结合用户访问规律与数据自身属性的数据处理方案 该方案将用户访问转化为数据请求序列根据数据的时空属性提取并构建特征序列通过模板匹配找到用户在不同访问模式下的特征模板发现模板内文件之间的访问相关性合并相关文件 实验结果表明该方案有效地提高了系统对小文件的存储读取效率减小了网络应用的响应时间     

基于HDFS的海量激光点云数据分块存储方法研究

在研究HDFS（Hadoop Distributed File System）分布式文件系统的基础上,构建了激光点云数据的数据结构,根据此结构对海量点云数据的文件分块存储方法进行研究,并通过仿真实验验证分块存储的有效性。     

云存储中面向访问任务的小文件合并与预取策略

针对云存储中通用分布式文件系统的小文件问题,改进概率潜语义分析(PLSA)模型,提出了一种面向用户访问任务的小文件合并与预取策略。该策略分析用户的访问任务、系统应用和访问文件之间的关系,根据任务合并小文件,并基于任务的转移概率预取文件。对建立的效率模型的分析和基于HDFS的数字城市原型系统实验结果都表明,此策略有较高的预取命中率,可以有效减少元数据服务器的负载和用户请求响应时延。     

云模型对GNSS欺骗干扰效能的评估

在"导航战"的背景下,欺骗干扰效能直接关系到被保护目标的生存概率及装备实施欺骗的成功概率。但影响因素的随机性和模糊性、评估聚焦点的忽大忽小及指标定权方法主观性强的问题,均抑制了效能评估的有效开展。基于此,提出了基于云模型的GNSS欺骗干扰效能评估方法。首先建立了效能评估的定性指标体系;其次将定性指标转化为可量化的对应指标,以利用主客观融合的方法对其进行定权;最后结合权值,利用云模型将专家对指标的模糊语言评估进行定量转换得到评估值。通过实例分析,验证了本文提出的方法能够有效削弱评估存在的问题。     

海量栅格数据空间索引与存储的研究

以Oraele Spatial为工具,研究基于Oracle GeoRaster对象的四叉树索引和R树索引机制,以此建立海量栅格数据的空间索引;研究GeoRaster的无缝影像层存储模式和分幅影像层模式,并给出影像存储的实现方法.利用Oracle Spatial对象可以有效解决海量栅格数据空间索引的建立及实现栅格图形数据与属性数据的一体化管理.     

一种海量空间数据云存储与查询算法

针对传统的空间数据库管理方式在可扩展性、容错性和成本上难以满足分布式海量数据管理需求的问题,提出了基于开源大数据平台HBase的海量空间数据管理方案。根据空间数据操作方式的局部性特征,对存储于云平台中的空间数据,使用空间四叉树模型组织栅格数据,引入Z序空间填充曲线组织矢量数据,并建立空间索引,利用两步查询法(过滤和精化)进行空间查询。该方案在继承了HBase平台易于横向扩展、伸缩性和容错性强等特性的同时也保证了空间查询效率。基于此方案,设计实现了云空间地图服务系统CGMapServer。测试表明,该系统在高并发情况下对大数据集的空间查询响应具有较好的实时性。     

一种R树与格网结合的海量地铁隧道点云管理方法

为满足海量地铁隧道点云的高效处理需求,提出了一种R树与格网结合的海量地铁隧道点云管理方法。针对隧道点云的空间分布特点,在全局将大范围点云划分到格网中,并使用R树管理非空网格;在局部使用八叉树与四叉树混合的索引方法管理单个网格内的点云。为了提高点云的渲染效果,提出了基于网格面积的多细节层次结构（levels of detail,LOD）回溯构建方法,并采用高效的单文件存储方式存储点云。实验结果证明了所提出的方法在海量隧道点云的管理和可视化方面优于传统方法。     

地理国情海量数据云存储技术设计研究

研究了地理国情海量数据特征及数据内容,针对目前数据存储中存在的问题,研究了云存储概念及相关的关键技术,采用HDFS技术提出了云环境下地理国情海量数据组织与资源共享的云存储模型,通过云应用服务接口访问云存储服务,能够有效解决地理国情数据资源海量存储和服务问题,为地理国情数据管理方式的转变提供借鉴。     

基于网络存储虚拟化技术的海量GIS数据存储方法研究

针对GIS数据存储特点,结合网络存储和虚拟化技术的优势,提出了基于网络存储虚拟化技术的GIS数据存储方案,并进行了实验研究,较好的解决了网络环境下GIS数据的存储和管理问题。     

基于NoSQL的机载LiDAR海量点云数据分布式存储

机载LiDAR点云数据是遥感大数据的重要组成部分,其海量化的趋势日益显著。本文设计并实现了基于NoSQL的海量机载LiDAR点云分布式存储模型,解决了海量机载LiDAR点云数据的高效存储问题。通过建立基于虚拟格网与线性八叉树的海量机载LiDAR点云数据组织结构,设计了基于虚拟格网号与Morton码的海量机载LiDAR点云数据标识唯一编码;提出了基于HBase的海量机载LiDAR点云数据存储策略,实现了键值和表结构的优化设计;最终实现了海量机载LiDAR点云数据的高效存储和快速查询。     

一种联合瓦片索引的车载海量点云数据管理方法

为了高效支持大范围车载移动激光扫描海量点云数据的可视化及后续处理,提出了一种联合全球统一划分瓦片索引的车载海量点云管理与调度方法。在分析车载点云空间分布特性基础上,有机联合瓦片索引及随机采样八叉树等空间索引结构,建立了一套面向海量车载移动扫描点云的高效管理及调度机制。试验证明,该方法能够高效支持大范围海量车载点云数据的调度、交互及动态更新等过程,并能够有效地支撑分割、分类等后处理过程。     

海量地铁隧道点云数据管理与Web快速可视化方法

传统点云处理软件为单机运行,Web点云应用较少,随着5G与WebGL技术的发展,3D Web应用的开发是未来的发展趋势.在地铁隧道工程中,实现隧道点云的快速处理与可视化是重要的需求之一.为满足地铁隧道点云的Web可视化需求,针对地铁隧道点云空间分布特点实现了一种格网与多分辨率八叉树结合的海量地铁隧道点云数据索引模型.采...     

GNSS卫星中DCB的使用方法

分析了GPS码间偏差的由来及使用方法。针对BDS自身的特点,推导了一种适用于BDS卫星码间偏差的归算方法,即伪距无电离层组合方法。通过此方法,可以将广播星历发布的B3频点天线电子相位中心归到B1+B2、B1+B3双频和B1+B2+B3三频天线电子相位中心,使双频和三频用户能够更好地利用钟差参数进行高精度定位研究。本文研究对于正确理解导航电文中的钟差参数具有重要的参考意义。