海量GNSS小文件云存储优化方法研究

GNSS数据量呈指数级趋势增长,Hadoop分布式文件系统（HDFS）解决了海量GNSS数据存储瓶颈的难题,却面临内存占用多、文件相关性差和缺乏优化机制的问题。针对HDFS处理海量GNSS小文件效率不高的问题,结合GNSS数据类型、特点以及存储过程,提出了一种新的GNSS小文件云存储方法,优化了GNSS小文件的写入、读取、添加和删除策略。该方法分别按观测文件和解算成果的类型进行合并,对合并后的文件构建压缩Trie树索引,索引切分后,根据匹配算法分布式地存储索引块。实验采用国际GNSS服务（IGS）28 d的数据和产品进行云存储优化。结果表明,该方法降低了各节点内存消耗,提高了海量GNSS小文件写入、读取和删除的效率,实现了对海量GNSS小文件的高效云存储。     

基于MongoDB的电子地图瓦片数据存储和服务研究

针对电子地图瓦片数据只读、小文件、海量等特点,提出了一种基于MongoDB的电子地图瓦片数据存储和服务的方法。实验结果表明,提出的方法可以满足电子地图缓存服务的高效存储和高并发性、大数据量的访问。     

利用数据打包发布海量栅格瓦块地图的方法

旨在解决现有海量栅格瓦块地图发布中存在的技术问题,特别创新地提出了一种海量栅格瓦块地图发布方法,将海量栅格小图片打包至数据文件中,并对相同的文件只进行一次存储分配,减小了磁盘空间的占有量;在根据URL路径查找对应栅格小图片时,不是依赖于文件系统逐一查找,而是通过索引的形式查找,提高了查找效率。     

一种云计算系统的瓦片数据组织方法

针对云计算系统中文件数据存储效率较低的问题,文章以Hadoop云计算系统为研究对象,改进了Hadoop-pvfs分布式系统,以提高Hadoop底层文件系统的存储效率,同时使得数据的更新可以在文件的任何位置;并提出一种多层次、位置相关的瓦片数据组织方法。实验结果表明,上述方法相对于Hadoop瓦片服务器系统吞吐效率有较大提高,可以为建设高性能、海量存储的GIS数据库服务系统提供参考。     

基于内存映射文件技术的海量VCT2.0数据库文件管理方法

讨论VCT2.0数据库文件的存储结构,研究Windows内存管理机制和内存映射文件技术的基本原理,实现内存映射文件技术存海量VCT2.0数据库文件管理上的应用,并完成性能分析.     

基于MongoDB云计算下GML分布式集群环境搭建研究

虽然大容量服务器可以解决普通的GIS数据存储问题,但随着数据量的增大,管理存储操作越来越难。在开源MongoDB分布式文件数据库支撑下,根据MongoDB对GML海量数据的存储理论,搭建海量GML数据集群环境,构成GML分布式云计算平台,为GML在服务器集群中实现存储查询索引管理提供性能支持。     

基于HDFS的海量激光点云数据分块存储方法研究

在研究HDFS（Hadoop Distributed File System）分布式文件系统的基础上,构建了激光点云数据的数据结构,根据此结构对海量点云数据的文件分块存储方法进行研究,并通过仿真实验验证分块存储的有效性。     

基于LINUX系统的GPS数据自动预处理与存储

根据GPS接收机原始观测文件的规律性,利用B-shell编程实现海量数据自动转换为RTNEX格式,并生成数据质量文件及错误提示文件,最后按要求存储。     

云环境下的时空数据小文件存储策略

云环境下的网络应用中存在着海量的时空数据小文件,针对HDFS处理小文件效率不高的问题,提出了一种结合用户访问规律与数据自身属性的数据处理方案。该方案将用户访问转化为数据请求序列,根据数据的时空属性提取并构建特征序列,通过模板匹配找到用户在不同访问模式下的特征模板,发现模板内文件之间的访问相关性,合并相关文件。实验结果表明,该方案有效地提高了系统对小文件的存储读取效率,减小了网络应用的响应时间。     

一种海量卫星导航轨迹点地图匹配方法

为了实现短时且精确的路况预测,通常需要海量采集卫星导航轨迹点,这使得基于传统文件/数据库系统的地图匹配方法无法满足复杂的实时分析要求。针对以上问题,本文提出的地图匹配方法,充分利用了NoSQL数据库的大数据存储、分布式计算等特点来对海量轨迹点进行匹配和存储,并将该方法应用在对深圳市交管部门浮动车卫星导航数据的分析,结果证明该方法具有有效性和精确性。