基于MapReduce的商品品牌热度时空分析

品牌热度分析是传统商业智能中的重要分析方法,不同品牌的商品销量空间分布特征对于商业决策具有重要的参考价值。面对大数据量和海量组合方式,计算性能瓶颈开始显现。传统的基于关系型数据库的简单数据分析手段难以处理大规模的商业数据,现有的基于MapReduce的大规模分布式计算引擎已经能够满足大数据并行处理的需求。为了解决以上问题,设计了基于HDFS的数据存储机制和MapReduce处理算法来解决品牌热度统计问题,实现对大体量离线商业数据的高效率品牌热度时空分析。     

空间数据库引擎关键技术剖析

解决用户应用系统与空间数据库间的数据传输成为空间数据库能否得以充分利用的关键问题.在众多解决方案中,空间数据库引擎备受关注.文中介绍了空间数据库引擎的概念和基本功能,并着重对空间数据模型的建立、空间查询语言、空间数据索引、多用户编辑的数据一致性问题等空间数据库引擎的关键技术进行了剖析.     

一种分布式架构的空间大数据服务平台

随着位置信息在各行各业中的广泛应用,空间大数据得到迅猛发展.空间大数据除具有数据量大的特点之外,还具有复杂性,同时,越来越多的应用对数据的实时性也有较高的要求.传统的GIS软件在承载和处理空间数据时,也面临越来越多的挑战,如难以对复杂多样的空间数据进行一体化存储和管理;传统GIS软件架构和单机处理能力,无法对较大体量(10亿条记录或更大)的空间数据进行分析.本文从分布式存储技术、分布式空间处理计算技术和分布式计算协调技术三个方面阐述如何应对上述问题,并提出了将Spark分布式框架和Su-perMap iObject for Spark空间处理引擎相结合的分布式空间处理计算技术,以及数据库的一体化管理和监控技术,实现对多种数据库如PostgreSQL集群、MongoDB和Elasticsearch的统一管理和监控.     

一款轻量级街景影像展示系统的设计与实现

集成Geo Server地图服务引擎、Postgresql数据库引擎以及Krpano三维全景显示引擎,设计并实现了一款轻量级的街景影像展示系统,提出了街景大数据的高效存储管理方式以及场景内导向箭头位置的快速自动计算方法.系统建设成果在南宁市道路交通设施管理项目中进行了应用,应用结果表明该系统满足街景影像展示需求,能为街景地图服务发布提供良好的平台,具有一定的推广应用前景.     

空间数据库引擎综述

空间数据库引擎是空间数据库系统的核心部件。本文探讨了空间数据库引擎的概念、作用和特点,分析了空间数据库引擎现状,归纳出空间数据库引擎应具备的功能,总结了研制空间数据库引擎需要突破的关键技术。这些分析对于实现高性能空间数据库引擎具有参考意义。     

智慧黄山时空大数据建设与应用实践

基于时空大数据技术、面向服务模式、高性能计算和分布式计算等相关理论和技术,本文设计并实现了时空大数据平台,集合了时空数据整合、处理、存储、分析、可视化等功能,并具备后台资源弹性分配和管理能力.规划了适合本地情况的时空大数据重点应用方向,基于大数据空间分析模型,分析了土地利用现状数据变化情况;运用机器学习的方法构建地价预测模型,实现了远期地价预测能力;利用大数据分析及存储手段,实现了基于手机信令数据的旅游景区流量分析.为黄山市提供了统一的时空大数据服务基础设施,并为智慧城市全面应用积累了经验.     

基于ArcSDE的信息基础设施空间数据库的设计与实现

ArcSDE作为空间数据引擎,在地理信息系统中有着广泛的应用,它能有效的提高空间数据库的管理效率。本文在对常用空间数据引擎比较的基础上,根据信息基础设施空间数据种类多、数据量大的特点,提出了基于ArcSDE SQL Server 2000技术构建的信息基础设施空间数据库建设方案,实现了海量数据的空间存储和有效管理,有利于信息的共享和充分利用,并在实际应用中取得了很好的效果。     

基于规则引擎的空间数据分发服务研究

随着观测技术的进步及计算机信息技术的发展,地理信息应用不断向各行业扩展.地理空间信息服务方面出现了信息资源供需矛盾,一方面,测绘专业部门拥有丰富的空间信息数据;另一方面,各行业的特定需求难以满足.如何提高地球空间信息服务的质量和效率,使已有的测绘成果在各行业应用中得到更好的应用,借助飞速发展的计算机技术已成为一种趋势.本文研究并分析了地球空间信息服务的特征和分类,对目前在各行业广泛应用的规则引擎技术进行了研究,提出了将规则引擎技术应用到空间信息服务的方式和关键技术,并设计了基于分布式计算的空间规则引擎,将其应用到地理空间信息向特定行业应用提供空间数据分发服务的应用系统中.以空间规则引擎为核心,构建了面向行业应用的空间数据服务模型,并进行了原型系统设计,通过空间规则引擎,提高了测绘专业部门向其他特定行业提供空间数据分发服务的时效性,满足了特定行业对空间信息特殊、多变的需求.     

大数据与广义GIS

普适计算基础设施和数据处理技术的发展催生了大数据概念,而大数据时空粒度的不断细化加速了地理空间信息的泛化过程。阐述了大数据时代地理空间信息泛化的显著特征,进而提出GIS概念广义化的迫切需求,从数据采集与整理、数据管理与集成、数据分析与计算三个方面分析了广义GIS所面临的技术挑战,重点探讨了互联网蕴含地理空间数据采集、移动对象数据库和异构动态数据管理、移动对象轨迹数据挖掘、复杂网络分析等方面的研究进展与存在的问题,并展望了广义GIS时代地理计算与城市计算、社会计算的融合趋势。     

空间数据库引擎关键技术剖析

解决用户应用系统与空间数据库间的数据传输成为空间数据库能否得以充分利用的关键问题。在众多解决方案中，空间数据库引擎备受关注。文中介绍了空间数据库引擎的概念和基本功能，并着重对空间数据模型的建立、空间查询语言、空间数据索引、多用户编辑的数据一致性问题等空间数据库引擎的关键技术进行了剖析。     

A general-purpose framework for parallel processing of large-scale LiDAR data

ABSTRACT

Light detection and ranging (LiDAR) data are essential for scientific discoveries such as Earth and ecological sciences, environmental applications, and responding to natural disasters. While collecting LiDAR data over large areas is quite possible the subsequent processing steps typically involve large computational demands. Efficiently storing, managing, and processing LiDAR data are the prerequisite steps for enabling these LiDAR-based applications. However, handling LiDAR data poses grand geoprocessing challenges due to data and computational intensity. To tackle such challenges, we developed a general-purpose scalable framework coupled with a sophisticated data decomposition and parallelization strategy to efficiently handle ‘big’ LiDAR data collections. The contributions of this research were (1) a tile-based spatial index to manage big LiDAR data in the scalable and fault-tolerable Hadoop distributed file system, (2) two spatial decomposition techniques to enable efficient parallelization of different types of LiDAR processing tasks, and (3) by coupling existing LiDAR processing tools with Hadoop, a variety of LiDAR data processing tasks can be conducted in parallel in a highly scalable distributed computing environment using an online geoprocessing application. A proof-of-concept prototype is presented here to demonstrate the feasibility, performance, and scalability of the proposed framework.     

遥感大数据智能解译的地理学认知模型与方法

随着遥感数据和计算机算力的爆炸式增长、智能分析算法瓶颈的突破,亟须提升与之相匹配的遥感大数据处理与分析能力。针对复杂场景下遥感大数据智能处理与地理学认知耦合关联和交叉融合的关键问题,本文分析了遥感大数据与地理科学各自的特点与相互关系,提出了多模态知识融合关联的深度网络构建和面向地理制图的遥感智能解译思路,建立了遥感大数据智能处理与应用体系框架;面向技术发展和行业应用,本文提出了分别建设通用高分辨率遥感智能处理系统和智能精准应用平台的总体路线,以期推动遥感智能解译技术创新和工程化应用的全面发展。     

A Parallel Framework for Processing Massive Spatial Data with a Split–and–Merge Paradigm

Due to high data volume, massive spatial data requires considerable computing power for real‐time processing. Currently, high performance clusters are the only economically viable solution given the development of multicore technology and computer component cost reduction in recent years. Massive spatial data processing demands heavy I/O operations, however, and should be characterized as a data‐intensive application. Data‐intensive application parallelization strategies, such as decomposition, scheduling and load‐balance, are much different from that of traditional compute‐intensive applications. In this article we introduce a Split‐and‐Merge paradigm for spatial data processing and also propose a robust parallel framework in a cluster environment to support this paradigm. The Split‐and‐Merge paradigm efficiently exploits data parallelism for massive data processing. The proposed framework is based on the open‐source TORQUE project and hosted on a multicore‐enabled Linux cluster. A specific data‐aware scheduling algorithm was designed to exploit data sharing between tasks and decrease the data communication time. Two LiDAR point cloud algorithms, IDW interpolation and Delaunay triangulation, were implemented on the proposed framework to evaluate its efficiency and scalability. Experimental results demonstrate that the system provides efficient performance speedup.     

陆地观测卫星数据中心:大数据挑战及一种解决方案

为应对陆地观测卫星数据及应用的多样性、存储数据规模的急速增长、数据处理与应用的高时效性、系统高可扩展性、系统资源整合的紧迫性等挑战,结合大数据技术,提出了一种基于Hadoop平台支持大数据处理与分析的陆地观测卫星数据中心架构解决方案,以提高陆地观测卫星数据利用水平与决策支持能力,提升国家空间信息资源应用水平,培育我国陆地观测卫星数据应用新的经济增长点。     

空间大数据在MongoDB中的存储探索

最近几年,IT技术,特别是云计算和大数据技术的发展,给传统的地理信息软件平台带来了很大变革.作为地理信息的核心技术之一,空间数据存储技术在地理信息软件平台中发挥着重要的作用,是实现高效的空间查询和空间分析的技术基础.面对数据量的爆发性增长、数据类型的增多等大数据问题,传统的关系型数据库很容易遇到存储瓶颈,存在诸如存储效率低、并发访问能力弱、横向扩展难等问题,这使得发展新的空间大数据存储技术势在必行.为解决传统关系型数据库在面对海量多源异构数据存储时遇到的上述问题,本文利用分布式存储NoSQL数据库进行了空间大数据存储和查询的技术探索,并通过一系列实验证明MongoDB数据库是一种有效的存储空间大数据的方法.     

Terra Populus’ architecture for integrated big geospatial services

Big geospatial data is an emerging sub‐area of geographic information science, big data, and cyberinfrastructure. Big geospatial data poses two unique challenges. First, raster and vector data structures and analyses have developed on largely separate paths for the last 20 years. This is creating an impediment to geospatial researchers seeking to utilize big data platforms that do not promote heterogeneous data types. Second, big spatial data repositories have yet to be integrated with big data computation platforms in ways that allow researchers to spatio‐temporally analyze big geospatial datasets. IPUMS‐Terra, a National Science Foundation cyberInfrastructure project, addresses these challenges by providing a unified framework of integrated geospatial services which access, analyze, and transform big heterogeneous spatio‐temporal data. As IPUMS‐Terra's data volume grows, we seek to integrate geospatial platforms that will scale geospatial analyses and address current bottlenecks within our system. However, our work shows that there are still unresolved challenges for big geospatial analysis. The most pertinent is that there is a lack of a unified framework for conducting scalable integrated vector and raster data analysis. We conducted a comparative analysis between PostgreSQL with PostGIS and SciDB and concluded that SciDB is the superior platform for scalable raster zonal analyses.     

云计算环境下空间索引构建研究

空间数据索引对于空间数据管理和分析具有重要作用,与数据处理速度和效率密切相关。随着人类社会进入大数据时代,遥感矢量数据具备了大数据的特点,传统的空间索引构建方法无法有效满足矢量大数据处理的需求,为此引入云计算环境来进行空间索引构建,目的是提高空间索引构建速度。首先,对常见的空间索引及现阶段云计算环境下基于MapReduce模型的空间数据管理进行了综述;然后以云计算环境下R树索引构建为例,对云计算环境下空间索引的构建进行了研究;最后,通过实验验证,证明了云计算环境下空间索引构建的速度与单机索引构建相比,加速比为28~40倍;在相同云环境下,网格索引构建速度最快,R+索引构建速度相对较慢。     

空间数据集成、检索和访问组件模型

为了解决空间数据集成、检索和访问的问题,从数据提供者和数据使用者2个角度出发,提出了建立具有统一集成、检索和访问接口的空间数据访问组件。该组件针对数据提供者提供统一的集成接口,实现了以ArcSDE为例的空间数据引擎和以REST服务为例的Web Service引擎,建立了针对第三方空间数据引擎和Web Service空间数据源集成方法。该组件内部构建了空间数据处理模块和Web Service数据处理模块,与空间数据集成接口相互协作完成集成并处理空间数据源的任务。同时,针对数据使用者提供了空间数据检索和访问功能,在空间数据检索接口中实现了基于要素的检索方法,能对集成后的空间数据进行快速的查询检索,达到空间数据共享、访问的目的。     

利用分布式自动化并行处理框架提升空间数据分析效率

围绕GIS应用系统在空间数据分析效率提升的方面,本文提出了一套基于分布式自动化并行处理框架的效率提升方法,阐述了如何基于ArcPy、WebAPI、分布式调度、调度控制因子等关键技术,实现分布式自动化并行处理。本文方法有助于便捷、高效地解决大量空间数据分析处理的效率问题。