基于Geoway CIPS的海量影像数据快速处理探讨——以淄博市1∶2000 DOM制作为例

基于Geoway CIPS集群式影像处理系统架构,通过实际项目探讨了集群快速处理海量影像数据的关键技术流程,总结了系统数据处理的优劣势,验证了基于集群系统快速处理海量数据的可靠性与高效性。     

用USB接口技术解决海量数据采集与存储的方法

介绍了USB接口技术的组成和特征，利用USB接口技术，设计了海量数据采集系统，可实现较传统方式更为经济、有效的高性能海量数据采集和存储系统。该系统在工程上有广泛应用价值。     

海量3维数据高效组织及集成研究

随着"数字城市"的推进,3维地理信息系统得到快速发展和广泛应用,产生了海量的3维地理空间数据,对3维空间数据的集成管理、并发访问、数据安全研究成为热点,市场对3维仿真系统和地理信息系统融合和统一需求日益迫切。针对"3维数字城市"建设新需求,本文在海量3维场景组织、空间索引建立和基于关系数据库的存储等方面开展研究,为海量3维空间数据组高效组织和集成管理提供了一条有效途径。     

海量影像数据的发布集群系统与应用

海量影像数据的在线发布和共享是传统网络地理信息系统难以解决的难题,集群技术具有高度可伸缩、高可用、易管理和高性价比的特性,是解决海量影像数据发布难题的有效手段。本文在分析动态反馈负载平衡器模型的基础上,提出基于集群技术的在线影像发布服务及其体系结构,设计了区域分治法等四种不同复杂度的负载平衡算法,适于不同物理系统,最后给出影像发布系统的应用实例。     

基于ACE的海量三维空间数据通信研究

三维可视化已成GIS发展的潮流,这必然会导致空间数据量的激增,通过集群系统和并行数据库系统可以很方便地解决海量数据的存储管理问题。但是,在海量环境下,一般数据库管理系统提供的查询接口,仍然难以满足实时三维场景可视化的速度需求。因此研究C/S模式下海量三维空间数据的高效调度成为三维GIS发展亟须突破的难点。在数据库服务器端和客户端之间加上应用服务器端,提供数据缓存、预调度等功能,减少服务器端磁盘I/O所带来的时间消耗,可以明显加速数据调度。本文系统分析了这种客户端/应用服务器端/数据服务器端模式下三维空间数据通信的难点和主要设计挑战,并针对三维GIS的数据访问特征,设计了一套能满足三维GIS实时调度的通信应用层协议。以ACE中前摄器框架为基础,结合线程池技术提出分层策略,搭建了海量三维空间数据的通信架构,它是一种面向对象的构架,可以方便地进行功能的定制和扩展。     

多源海量统计遥感数据集成管理技术研究

统计遥感业务是国家统计局基于统计业务对空间信息的发展和应用需求,将GIS、RS和GPS空间信息技术全面应用于统计数据的获取、管理与分析中,从而提高统计效率和统计科技含量,构建新型国家统计业务体系。统计遥感业务数据具有多源、海量的特点,实现统计遥感数据的集成与管理是新型统计遥感业务成功运转的基础。针对统计遥感业务及数据应用需求,通过对各类空间数据集成与管理技术进行研究,提出在建立统计遥感空间数据库基础上,将影像以县级为单位进行拼接、然后压缩存储到统计遥感空间数据库,同时结合影像编目技术实现海量遥感影像的管理;提出将元数据管理和数据转换、数据直接访问以及数据互操作方式,实现多源统计遥感数据的集成与管理。通过多种方式,从应用层面较好地解决了海量、多源统计遥感数据的集成与管理,提升了统计遥感数据的应用范围。     

面向地形数据的点云简化算法

针对地形点云数据量大、表面特征复杂多样等特点,提出面向地形数据的点云简化算法。基于K-D Tree搜索各点K邻域,构建点集空间拓扑关系|应用移动最小二乘法计算各点曲率,通过曲率的划分,在平缓区域按距离进行简化,保证整个算法的效率|在突变区域根据曲率简化,确保曲率变化大的关键特征信息不丢失,从而实现点云数据的简化。利用基于熵理论的定量评价方法,通过实例验证该方法的可行性和普适性。     

用USB接口技术解决海量数据采集与存储的方法

介绍了USB接口技术的组成和特征 ,利用USB接口技术 ,设计了海量数据采集系统 ,可实现较传统方式更为经济、有效的高性能海量数据采集和存储系统。该系统在工程上有广泛应用价值。     

一种地形改正新算法

通过对地球表面和大地水准面的物理学受力分析发现,传统计算地形改正方法存在误差。分析了其误差来源及大小,解释了该误差形成的原因,并给出了计算地形改正的新算法,新算法可有效提高计算精度。     

一种适合于科学数据的聚类算法

聚类是科学数据挖掘中的核心问题.在已提出的聚类算法中大都是基于＂距离＂的概念,这类算法的缺点在于处理数据量大和维数高的科学数据时不够有效,因此提出迭代网格算法.这个算法与基于距离的损法有根本不同,它抛弃了距离的概念,而采取一种新的思路.它不仅能够自动发现包含有趣知识的子空间,并将里面存在的所有聚类挖掘出来;而且它能很好的处理维数高和数据量大的科学数据.     

一种面向地图对象的矢量地图数字水印方法

针对线状图层数据,面向地图对象,描述了一种能对2D矢量地图数据进行版权保护的水印算法.该算法把水印信息隐藏在地图对象的形状特征中,通过HASH排序和分组,把水印信息广泛地散布到图层中,并且实现了水印信息的盲检.实验表明,该算法具有很强的鲁棒性和实用性.     

基于小波变换的遥感数据融合与边缘检测

介绍了小波图像的分解和重构方法以及小波融合过程。采用Symlet小波变换融合方法对西安地区鲸鱼沟水库的TM4、TM5子图进行单尺度二维离散小波变换融合,并进行水库的边缘检测。对图像通过TM4分解的低频图与TM5分解的高频图像融合再与TM4影像原图比较,融合图像提取细节效果明显优于TM4原图像。     

基于CNN的空间数据自适应切分算法

针对空间数据划分方法无法自适应选择问题,本文提出了基于CNN的数据自适应划分算法（Adaptive Partition Algorithm for Space Vector Data-Convolutional Neural Networks,SVDAP-CNN）。该算法首先基于应用场景和其他相关资源实现特征描述和表达;其次基于层次聚类设计特征矩阵表达算法,体现特征间的局部相关性以减少方法选择时间和提高选择精度;最后通过CNN模型实现空间数据自适应划分。本文选取南海区域真实数据和模拟数据进行验证,与已有的数据划分方法选择算法进行比较。结果显示：针对真实数据,SVDAP-CNN算法的精度和时间效率分别提高了24.18%和25.67%;针对特征和特征间关系表达欠完备的模拟数据,SVDAP-CNN算法的精度和时间效率分别提高了27.02%和26.80%;针对选择结果易出错的数据切分方法,SVDAP-CNN算法的精度提高了19.92%,证明了该算法有较好的普适性;另外,本文结合南海区的实际应用证明了该算法的应用可行性。SVDAP-CNN算法的提出可为大数据量、多变的自动化空间应用分析提供技术支...     

适用于移动平台的快速生成地形剖面线方法

本文针对移动平台内外存储容量小,处理器相对较弱的特点,通过数字高程模型（DEM,包括不规则三角网和规则格网）,提出一种适用于移动平台的等高线直接生成剖面线的方法。与其他2种数字高程模型的剖面线生成方法的对比表明,本方法计算简单、运算量小、操作方便、成果图精度适宜,非常适合用于移动GIS。另外,针对在等高线生成剖面线过程中,路线处于2条等高线之间（即与等高线没有交点）,无法求得路线高程值的情况,提出了通过作路线上任意点的水平和垂直方向直线,求得该直线与最邻近等高线的交点,利用4个交点的高程值求出路线上该点的高程值的方法。通过该方法,求出足够多高程点,进而生成剖面线。将本文提出的移动平台快速生成地形剖面线算法,应用于区域地质调查,较好地解决了实际应用中遇到的问题,取得了良好的效果。     

一种点约束分块的矢量地理数据精确认证算法

脆弱水印可以实现对数据内容真实性的认证,并对发生变化的位置进行定位,鉴此,本文提出了一种点约束分块的矢量地理数据精确认证算法。在认证内容嵌入过程中,首先,按照点约束的方法对矢量地理数据进行分块,并将每块的数据点进行空间位置关系的“之字形”排序,建立数据点之间的位置关系;然后,将相邻点生成的脆弱水印信息嵌入到当前点。在内容精确认证时,比较原始的水印信息与提取的水印信息,判断二者是否相同来鉴别数据是否更新。将本文算法与均匀分块的方法进行了对比实验,结果表明,本文提出的认证算法能实现在数据更新时的精确认证,并可实现要素删除的精确认证,在检测数据变化时可对修改位置进行定位与标记。     

海陆岸线多尺度矢量数据获取方法及其尺度效应评估

地理空间数据的多尺度表征是制图学的基石,是支撑地理数据多尺度建模分析的前提。通过对从遥感影像获取的一定尺度的地理要素矢量数据进行选择、化简、聚合或其他处理,以获取多尺度矢量数据,但多种综合处理模型和方法会导致多尺度矢量数据存在着不同程度的信息损失。本文基于地理信息系统（ArcGIS 10.6）的矢量数据制图综合功能模块,通过整合多种内嵌的自动算法和模型,结合人机协同的辅助处理方法,构建了一套系统的海陆岸线空间尺度上推方法体系,并将其应用于南美洲大陆海陆岸线矢量数据从m级空间尺度上推到30 m、250 m和1 km。基于分形理论,首次提出线矢量数据复杂度指数概念,用以表征海陆岸线地理要素特征和对比其信息精细化程度。在此基础上,对获取的30 m、250 m和1 km海陆岸线矢量数据进行信息损失评估,结果显示制图综合引起陆地和水域空间属性的改变,不同尺度表征的地理要素信息精细度存在显著差异：相比m级基础数据,30 m、250 m和1 km海陆岸线矢量数据陆地图斑数量损失分别为32.07%、90.46%和98.61%,岛屿线矢量长度信息损失分别为6.32%、49.26%和75.47%;南美洲大陆海岸线矢量数据信息精细度分别降低1.97%、25.33%和45.39%。本文构建的计算机自动综合模型和人工处理相结合的海陆岸线矢量数据空间尺度上推方法,可以实现海陆岸线矢量数据空间尺度上推获取不同尺度的线矢量数据,并描述了不同空间尺度矢量数据的信息损失状况。     

海岛(礁)、滩涂和水下地形矢量数据融合方法研究与实现

海岛(礁)、滩涂和水下地形DLG数据库是重要的测绘成果,为开展海洋综合调查工作提供了数据基础。然而,现有的三库测绘成果是分阶段采集的,数据精度和数据模型不一致,且存在大量重复采集的情况,最终成果也是分库存储的,这使其无法进行统一管理和更新。为此,本文对多源海洋基础空间要素数据的融合方法进行了研究,首先采用矢量数据匹配技术获取对应实体,然后通过本文提出的属性融合技术和基于中误差与对应点的几何信息融合技术对三库DLG数据进行融合,以实现三库数据的属性共享、几何精度的改进和数据冗余的减少。最后,我们还基于.NET和Arc GIS Engine组件开发了海洋基础空间要素数据融合系统,用于浙江省海岛(礁)、滩涂和水下地形基础空间要素数据的融合。     

地学数据共享网用户Web行为预测及数据推荐方法

网络环境下,如何让用户快速发现所需数据是地学数据共享平台长期面临的挑战之一。本文基于国家地球系统科学数据共享平台网站服务器日志数据获取用户搜索行为及数据集访问行为,使用聚类算法挖掘用户行为模式,并基于会话聚类 模式开发在线搜索和访问预测算法。在数据预处理阶段,对原始服务器日志数据进行清洗、用户识别、用户会话识别、搜索词提取。在模式挖掘阶段,采用DBSCAN算法对会话进行聚类。考虑到会话向量值的二元性,聚类算法中的距离采用Jaccard距离函数计算。视每个会话聚类包含的搜索词集合为一个文本,所有用户历史搜索词集合为语料库,统计各聚类中搜索词的TF-IDF值。在线搜索推荐,以搜索词检索各聚类中TF-IDF值,返回TF-IDF值最高的搜索词所属聚类,并给出该聚类的高频项目作为推荐。在线访问推荐,则以用户实时访问向量为查询向量,计算该向量与聚类中心的聚类。根据聚类排序,给出距离最近的聚类,并产生该聚类中高频项目作为推荐。实验结果表明基于TF-IDF和聚类的搜索推荐有较高的准确率和召回率,访问推荐效果基于高频统计的推荐有较大提高。研究可得出以下结论：① 地学共享网用户访问和搜索行为体现了专业性的特点,其行为较普通网站用户可预测性更好;② 对于地学数据共享用户行为预测,需明确定义用户行为,并采用合适的距离函数描述行为相似性;③ 通过搜索词TF-IDF值来预测用户数据需求的方法可行,以此产生的推荐可作为搜索结果的补充。本研究可服务于地学领域数据共享平台建设,提高共享服务质量,也可为其他领域科学数据共享提供技术方法借鉴。