WebGIS集群环境下Client主动式负载均衡策略

针对现有WebGIS集群环境下负载均衡调度策略的特点和弊端进行分析,提出了WebGIS集群环境下Client主动式负载均衡策略,重点研究了无中心(负载均衡调度中心)的WebGIS集群体系结构和Client主动式任务均衡分解方法,最终实现WebGIS集群环境下各服务节点间的负载均衡,解决了传统WebGIS模型中存在的负载均衡调度中心节点请求转发性能瓶颈问题和请求响应延迟问题。最后,使用不同规模大小的并发访问用户进行实验,结果证明,与传统的WebGIS集群环境下负载均衡策略相比, Client主动式负载均衡策略能更有效地缩短服务的平均响应时间,提高WebGIS集群的并发处理能力,且并发访问用户量越大,效果越明显。     

集群并发环境下大规模矢量数据负载均衡算法

为了提高集群环境下网络地理信息系统(WebGIS)大规模矢量数据的并发访问性能,提出了集群并发环境下大规模矢量数据内容网格化负载均衡算法,研究了大规模矢量数据内容网格化方法,集群并发访问时内容网格的自动识别、分析、聚合、反馈算法,实现了面向任务的负载均衡。实验表明,本算法能在大规模、高强度的矢量数据提取和显示中均衡地分发请求,使集群服务器充分发挥其优势从而获得最小的请求响应时间。     

网络地理信息服务中的空间数据缓存算法研究

网络地理信息服务中，由于带宽有限以及大规模的并发用户访问，海量异构的空间数据的快速实时网络传输，是提高系统性能、缩短服务响应时间的关键因素。提出了适合于地形数据和影像数据的缓存机制，以提高网络地理信息服务的交互性能。以瓦片为缓存粒度，论述了缓存瓦片索引的设计与效率，证明缓存索引的性能是令人满意的。本文提出了瓦片访问平均时间间隔最长的缓存置换算法TAIL (Tile Access average Interval time Longest)，从瓦片访问的时间局部性和空间局部性分析了TAIL算法并说明提高置换效率的方法。对最高分辨率为30米的全球LANDSAT7影像数据集和最高分辨率为90米的全球SRTM地形数据集进行日志驱动仿真实验。结果表明，TAIL与代表性的缓存置换算法相比，提高了瓦片请求命中率和字节命中率，同时大幅降低了瓦片请求响应时间和服务器端所处理的瓦片请求数。     

网络地图缓存技术研究与应用进展

随着网络地图服务应用的延伸及并发访问数不断增加,网络地图服务平台的性能需求越来越高。地图缓存技术有效地减轻了服务器计算负载和网络传输负担,极大地改进了客户端和服务器端的交互效率,提升了网络地图服务应用水平,改善了客户端用户体验,是网络地图服务领域的研究热点之一。但其仍存在地图缓存制作时间长、占用空间大以及瓦片数据更新困难等技术难点。本文通过对目前主流的研究成果进行整理与归纳,重点分析了地图缓存技术各个环节的研究内容和现状以及分布式环境下的地图缓存技术研究进展,挖掘出了地图缓存技术在静态缓存瓦片数据更新、静动相结合的缓存策略切换、按需切图响应效率优化、文件系统与数据库组织模型同步、混合模式存储设计、大范围瓦片数据更新以及分布式环境下的地图瓦片数据弹性存储等方面可进一步提升的研究内容和技术环节,期望为后续的研究提供参考。     

基于OWGA缓存的海量遥感瓦片数据发布

通过模拟实现传统的WMTS瓦片服务对客户端发来下载瓦片数据的HTTP请求进行响应,计算得到各处理阶段所用的平均时间,分析测试结果可知,将请求的本地储存瓦片读取到内存中所花费时间占总响应时间的70%以上。为缩短服务器响应时间,提出了基于OWGA缓存的发布方法,将客户端最近频繁请求的、高分辨率的瓦片数据常驻内存,以减少文件I/O操作;并在缓存不足时移除OWGA值较低且低分辨率的瓦片数据。通过与常用的内存缓存置换算法LRU、LFU对比可知,在随机访问模式下,该算法的时间效率优于其他两种算法。     

基于开销代价的网络地理信息服务负载均衡算法研究

基于单位时间开销代价矢量，提出同时考虑地形数据请求在服务器队列中的等待时间与服务器对请求的处理时间的最小总代价分布式算法#算法计算转发请求给每台服务器的概率空间，并根据地形数据请求到达时临时生成的随机数在概率空间中的落点确定转发请求的目标服务器。通过配置单位时间开销代价矢量!可以灵活地维护与升级集群服务器，具有良好的可扩展性。仿真结果表明最小总代价算法能在大规模$高强度的地形漫游中均衡地分发请求!使集群服务器充分发挥其优势从而获得最小的漫游响应时间。仿真结果还表明在低强度地形漫游时，各种负载均衡算法表现大致相同；在高强度地形漫游时!设计负载均衡算法最好考虑服务器端队列的排队情况。     

用户访问驱动的空间数据存储组织策略

针对用户访问服务负载均衡的分布存储要求和磁盘连续读取的合并存储要求之间的矛盾，提出一种基于用户访问行为的综合考虑存储节点连续读取效率和网络负载均衡效率的空间数据存储组织方法（combined strategy of data placement and load balance，CSDL）。该方案根据用户访问行为，通过空间数据的访问相关性计算，将热点数据分布存储在不同的服务器上，以实现用户并发访问时的负载均衡；同时，通过对存储在相同服务器内数据的并发度计算，将并发度高的数据存储在连续的磁盘空间上，以实现磁盘存储服务的连续读取。CSDL方法试图同时从上层应用的负载均衡和底层磁盘效率两个方面对空间数据的存储进行分布组织，以提高地理信息系统服务效率。试验结果表明，该方案可有效提高45.2%~245.3%的系统平均请求响应时间，与此同时，分布式服务器节点的负载均衡度可提高约0.5%~440.9%，能满足大规模分布式环境的应用需求。     

基于主动缓存的P2P海量地形漫游瓦片调度算法

针对利用P2P技术解决大规模海量地形漫游中服务器带宽和性能瓶颈问题产生的部分节点成为热点,而部分节点闲置的问题,提出一种基于分组局部稀少性的主动缓存地形数据调度算法GLRF,闲置节点自身并不显示瓦片,只为其他节点提供服务.该算法充分利用节点的闲置资源,通过快速均匀分布瓦片以提高瓦片请求时的节点命中率和节点匹配率.通过实验原型系统的比较测试表明,该算法瓦片请求节点命中率和匹配率更高,且提升速度更快.     

集群和负载均衡技术在GIS数据中心的应用研究

以浙江省地理空间数据交换和共享平台为例,在分析地理信息在线服务平台特点和GIS服务质量需求的基础上,对服务器高可用性、负载均衡技术与构建方式进行讨论,给出省级GIS数据中心高可用性服务器集群和负载均衡服务器集群的设计模型,并描述相关的系统架构、设备部署、负载均衡策略、应用状态检测等方面的内容;最后分析GIS服务性能的模拟测试数据。     

基于共享内存的路径规划负载均衡算法

为满足前端对路径规划高并发服务需求,本文设计后台采用集群路径规划服务器来实现并行处理,以达到对前置Fast CGI服务器请求进行分流的目的。由此,本文提出基于共享内存的路径规划负载均衡算法,可根据不同路径规划服务器的性能差异,设置相应的加权系数,并按照加权调度算法,将任务交由合适的路径规划服务器来处理,以均衡所有路径规划服务器之间的负载能力,减少服务延迟,从而提高了路径规划服务的稳定性、扩展性、高可用性和执行的效率。     

A Predictive Model for Frequently Viewed Tiles in a Web Map

Distributing pre‐generated image tiles from a server‐side cache is a fast and popular way of serving maps on the Web. However, these caches can grow unmanageably large for maps covering many scales over a broad extent. This research presents a model for determining high‐priority geographic areas for tile caching. The model considers variables found in previous research to be of interest to Web map users, such as populated places, major roads, coastlines, and tourist attractions. The proportion of area, disk space, and time saved when creating a partial cache (consisting only of high‐interest areas) and a cache of the entire map extent are compared to establish that marked savings are possible. Several applications of the model beyond tile caching are briefly discussed.     

Distributed cache replacement method for geospatial data using spatiotemporal locality-based sequence

Specific features of tile access patterns can be applied in a cache replacement strategy to a limited distributed high-speed cache for the cloud-based networked geographic information services (NGISs), aiming to adapt to changes in the access distribution of hotspots. By taking advantage of the spatiotemporal locality, the sequential features in tile access patterns, and the cache reading performance in the burst mode, this article proposes a tile sequence replacement method, which involves structuring a Least Recently Used (LRU) stack into three portions for the different functions in cache replacement and deriving an expression for the temporal locality and popularity of the relevant tile to facilitate the replacement process. Based on the spatial characteristics of both the tiles and the cache burst mode with regard to reading data, the proposed method generates multiple tile sequences to reflect spatiotemporal locality in tile access patterns. Then, we measure the caching value by a technique based on a weighted-based method. This technique draws on the recent access popularity and low caching costs of tile sequences, with the aim of balancing the temporal and spatial localities in tile access. It ranks tile sequences in a replacement queue to adapt to the changes in accessed hotspots while reducing the replacement frequency. Experimental results show that the proposed method effectively improves the hit rate and utilization rate for a limited distributed cache while achieving satisfactory response performance and high throughput for users in an NGIS. Therefore, it can be adapted to handle numerous data access requests in NGISs in a cloud-based environment.     

大型工程中的WMS数据获取与集成应用方法

面向大型土木工程设计,提出了一种运用WMS共享空间数据源并实现高效应用集成的工程设计应用技术体系。首先,直接针对WMS数据服务器定向开发数据获取应用,通过高效并行多线程实现空间数据的分块网络传输,同时结合本地缓存机制与网络共享,实现了一种双轨存储访问机制;其次,基于独立的应用下载与嵌入的实时线程分配,实现了远程数据的本地化模拟应用环境与分布式共享协同;再次,针对WMS数据的应用,实现了空间数据向工程数据的高精度转换与工程制图出图体系,开发了统一的全球三维可视化平台,用于直观地综合表达各种WMS数据源。     

GeoCube： 面向大规模分析的多源对地观测时空立方体

随着对地立体观测体系的建立,遥感大数据不断累积。传统基于文件、景/幅式的影像组织方式,时空基准不够统一,集中式存储不利于大规模并行分析。对地观测大数据分析仍缺乏一套统一的数据模型与基础设施理论。近年来,数据立方体的研究为对地观测领域大数据分析基础设施提供了前景。基于统一的分析就绪型多维数据模型和集成对地观测数据分析功能,可构建一个基于数据立方的对地观测大数据分析基础设施。因此,本文提出了一个面向大规模分析的多源对地观测时空立方体,相较于现有的数据立方体方法,强调多源数据的统一组织、基于云计算的立方体处理模式以及基于人工智能优化的立方体计算。研究有助于构建时空大数据分析的新框架,同时建立与商业智能领域的数据立方体关联,为时空大数据建立统一的时空组织模型,支持大范围、长时序的快速大规模对地观测数据分析。本文在性能上与开源数据立方做了对比,结果证明提出的多源对地观测时空立方体在处理性能上具有明显优势。     

A New Load Balancing Scheme on Heterogeneous Database Cluster

IntroductionAlthoughthe development of cluster has gainedmore and more advantages of low-cost ,high-per-formance and high-availability computing, effi-cient resource usage such as CPU, memory andI/Ois still a keyto achieve better performanceincluster syst…     

四元树算法在地理国情普查生产管理系统中的应用

地理国情普查生产管理系统中采用Web地图管理结合表,地图在浏览器中的显示受到浏览器和网络的限制,地图整幅显示加载速度慢,用户体验不好,利用金字塔瓦片地图技术在服务器端预先生成不同级别的瓦片,提高地图的生成、发布、显示和浏览效率,减轻了服务器负载和网络传输负担。利用四元树算法管理金字塔瓦片地图的瓦片索引,在不同缩放比例请求下,能够快速、准确地找到瓦片并显示。     

基于开放地图API的网络专题制图方法研究

专题地图作为地理空间信息的重要载体之一,网络专题地图服务是地理空间信息共享的重要途径。传统的WebGIS制图方法受局限,服务器负载高,网络传输数据量大,客户端资源闲置。为此本文研究了一种通过扩展开放地图API的网络专题制图方法,服务器负责数据处理,客户端进行地图设计与绘制,并设计实现了此方案。     

A hierarchical indexing strategy for optimizing Apache Spark with HDFS to efficiently query big geospatial raster data

ABSTRACT

Earth observations and model simulations are generating big multidimensional array-based raster data. However, it is difficult to efficiently query these big raster data due to the inconsistency among the geospatial raster data model, distributed physical data storage model, and the data pipeline in distributed computing frameworks. To efficiently process big geospatial data, this paper proposes a three-layer hierarchical indexing strategy to optimize Apache Spark with Hadoop Distributed File System (HDFS) from the following aspects: (1) improve I/O efficiency by adopting the chunking data structure; (2) keep the workload balance and high data locality by building the global index (k-d tree); (3) enable Spark and HDFS to natively support geospatial raster data formats (e.g., HDF4, NetCDF4, GeoTiff) by building the local index (hash table); (4) index the in-memory data to further improve geospatial data queries; (5) develop a data repartition strategy to tune the query parallelism while keeping high data locality. The above strategies are implemented by developing the customized RDDs, and evaluated by comparing the performance with that of Spark SQL and SciSpark. The proposed indexing strategy can be applied to other distributed frameworks or cloud-based computing systems to natively support big geospatial data query with high efficiency.     

基于CORBA的开放式GIS构建

现代信息技术的变革使网络技术与GIS的结合日益紧密 ,从而促进了开放GIS技术的研究。开放式GIS研究的目的是提供一套具有开放界面规范的通用组件 ,开发者根据这些规范开发出交互式组件 ,从而实现不同种类地理数据和地理处理方法间的透明访问。文中主要讨论了基于CORBA的开放式GIS的网络系统构建技术 ,使用户能在分布式的多服务器且存在异构的网络环境中共享地理空间数据。