基于Hadoop的地质大数据融合与挖掘技术框架

地质领域数据量大,且种类多样。实现高效的多源异构地质数据的融合与挖掘,是研究地质作用机理,展开地质考察研究的重要手段。然而目前普遍存在着数据条块分割,格式各异,难以实现有效的共享与互操作。为此,本文提出了一种基于Hadoop的地质大数据融合与挖掘技术框架,该框架包括统一的地质大数据采集与预处理方法,基于元数据索引的存储与管理平台,基于Map/Reduce的地质大数据并行化计算模式与系统,面向可重用的地质大数据挖掘服务,以及支持在线三维展示的地质大数据分析结果可视化系统。该框架具有良好的实用性与可扩展性。本文在5个节点的测试系统上实现了多元素关联性分析,并取得了相对应单台机器3部的加速可比性。     

智慧广州时空大数据框架体系设计与建设

根据《智慧城市时空大数据与云平台建设技术大纲》的要求,从资源汇聚、空间处理、数据引擎、管理分析等多个方面,对历史与现状的基础地理信息、历史与现状的公共专题、智能感知的实时数据、空间规划等智慧广州时空大数据进行了详细阐述。     

面向时空信息数据的大数据平台设计

设计了面向时空信息数据的大数据平台,以GISCloud的云计算框架作为基础资源平台,通过两层服务架构为平台提供计算和存储资源的管理。以数据融合思想构建大数据平台的基础数据支持,依托GISCloud建立各种资源池,对数据进行抽取和分析,建立核心数据集与共享数据集,实现数据资源的差异化共享。通过面向时空信息数据的大数据平台设计,构建时空信息数据中心,利用公共服务时空信息和共享交换平台提供数据服务,实现海量时空信息数据的高效管理和服务。     

基于MapReduce的时空数据模型设计方法

针对时空数据存储与查询问题,传统方法存在硬件成本高,存储效率低等缺点。通过对MapReduce模型和Hadoop框架等云计算核心技术的分析和研究,提出了一种基于Hadoop的时空数据存储模型,并在此模型的基础上,设计了基于MapReduce的时空数据查询并行化框架。该框架通过对时空数据的并行操作,使其适用于海量时空数据的存储与管理。     

面向地理信息大数据的时空事件关系可视化分析框架

不同类型的地理信息大数据蕴含了丰富的时空关系,反映个体或者群体时空事件之间的变化模式,在资源、环境、交通等领域的智慧应用中起到关键性作用。然而,地理信息大数据拥有的多尺度和多语义特性,在挖掘地理信息大数据的时空关系时会存在许多困难。如何有效地构建多尺度多语义时空关系,并直观地表达这些时空关系是一个重大挑战。本文设计了一种时空事件关系可视化分析框架,通过定义事件间时空关系的描述,设计了一种多视图协同的可视化分析方法,结合时空关系的可视化协同交互,实现地理信息大数据时空事件可视分析。基于时空轨迹数据,通过试验说明该方法可以探寻时空事件及背景间的时空关系,实现时空事件的交互可视分析。     

智慧城市时空数据三维可视化设计与关键技术

随着数据内容的不断增加,特别是新型测绘产品数据的扩展延伸,智慧城市时空大数据的三维可视化面临着新的机遇与挑战.针对时空大数据三维可视化所面临的数据集成、数据组织优化以及资源合理分配等问题,设计了面向三维可视化的时空大数据集成内容及其相应框架,并针对数据集成存储、细节层次构建和计算资源调度等关键技术开展了研究,为构建多源...     

时空大数据面临的挑战与机遇

"大数据时代"的到来,正在改变着人们的工作、生活和思维方式。该文较全面地分析了目前大数据及其应用的研究现状,提出"时空大数据"的概念,并认为时空大数据就是时空数据与大数据的融合,并从大数据与时空大数据的背景、特征、本质和类型,分析了时空大数据带来的科学范式、时空信息传输和认知模型等方面的变化,同时对时空大数据的理论体系、技术体系和产品体系进行了探讨。     

时空大数据在空间优化中的应用

空间优化提供资源、实体等的高效配置与最佳空间组织方案,是地理学的重要研究领域。大数据背景下,各类蕴含时空信息的时空大数据能反映地表各要素的空间格局特征与演变过程,为空间优化提供强大的数据支撑。基于国内外时空大数据、空间优化研究成果,分析大数据发展历程、特征、定义及其影响,概括时空大数据的定义与特征,总结出对地观测、社会经济、物联网、互联网与社交网等5类时空大数据;在宏观(全国)、中观(省域)、微观(市县)3个尺度下,综述现有研究中的各种空间优化;将时空大数据在各类空间优化中的应用归纳为城市(镇)体系空间结构分析、自然生态环境监测、土地利用分析等7大类,并分别梳理了国内外的相关应用研究。该综述可为时空大数据、空间优化相关研究提供参考。     

智慧澄海时空大数据平台设计与实现

以汕头市澄海区自然资源一体化综合管理为目的,基于数据中台微服务架构和BI数据挖掘等前沿技术,提出了智慧澄海时空大数据平台建设的技术路线和实施路线,实现了离散二三维数据到数据中台的自动汇聚和互联共享,定制了面向土地、规划业务的空间分析模型,促进了自然资源数据管理与活化利用,有力支撑了面向自然资源管理、国土空间规划、城市管理的行政审批、监管决策、公共服务等各行业应用。     

时空大数据时代的地图学

地图学研究的主战场是"地图",但不同历史时期的地图其信息源、主题、内容、载体、形式、制作方法和应用方式是不同的,当然它的全方位价值也就不同了。从科学史上的科学范式的变化来看,随着大数据时代的到来,如今已经步入"数据密集型"科学范式时代,地图学亦如此,具有明显的大数据科学的特征。所有大数据都是由包括人类活动在内的地理世界的任何事物和任何现象运动变化产生的,都具有空间和时间特性,当然也就离不开空间参照和时间参照。因此,大数据本质上就是时空大数据。自20世纪50年代末60年代初以来的现代地图学,即信息化时代的地图学,是以时空数据为对象的,其核心是时空数据处理与表达,但并没有像今天面对天空地海一体的大规模多源(元)异构和多维动态的数据流(或流数据),地图的实时动态性、主题针对性、内容复合性、载体多样化、表现形式个性化、制作方法现代化、应用泛在化等特征,是以往任何时期都无法比拟的,这就产生了地图学理论、技术和应用体系的巨大变化。而所有这些变化都正好发生在20世纪50年代末和60年代初以来的约60年间,故以本文纪念《测绘学报》创刊60周年。     

基于地理空间框架的共享服务平台设计与实现

从城市地理空间框架建设现状入手,以"数字德清"为例,对共享服务平台中系统结构、服务接口、服务资源管理等问题进行了阐述;并结合实际,提出了一种基于混合模式的共享服务模式,解决了多部门数据整合与共享的问题。     

智慧磁县时空云平台服务系统的设计与实现

在智慧城市建设背景下,提出了时空云平台服务系统建设的总体框架以及技术路线,并对建设过程中采用的地理编码与匹配技术、大数据引擎并发访问技术、统一内核构造跨平台技术、云端一体化技术等关键技术和创新点进行研究,最后对智慧磁县时空云平台系统应用效果进行概要的分析及总结。     

基于GIS的县级国土资源一体化应用平台设计

基于GIS技术的国土资源政务信息系统是当前国土资源信息化建设的重要技术手段之一。本文结合国土资源信息化"十二五"规划中对"一张图"核心数据库、国土资源综合监管平台、四级国土资源全业务网上运行、国土资源信息共享服务等方面的建设要求,提出了一个综合全局所有业务,集成国土资源一体化应用平台,实现全局所有业务的综合集成。     

基于数据整合的地籍信息系统设计与实现

传统的地籍信息以地籍调查信息为基础,结合地籍管理业务实施更新,与土地管理全过程业务关联不够紧密,信息使用效率需加强。运用数据整合的理论和技术,对地籍数据进行清理整合,在土地信息系统总体框架下开展地籍信息系统设计,实现全业务关联的图、文、档一体化地籍信息管理模式。在实践中,应用最新的GIS技术,探索三维地籍信息整合应用模式,进一步丰富了城乡一体化地籍信息系统的应用效果。     

Hadoop框架下海量影像数据库管理系统的研究与实现

针对传统影像管理方式不能进行T级及以上量级影像数据管理的难题,基于开源分布式云平台Hadoop框架,研究设计了云计算环境下的遥感影像数据组织模型（RSC-DOM）,利用镶嵌数据集技术、影像无缝集成技术等多种新技术,构建了海量影像数据库管理系统,实现了海量影像数据的高效组织、管理及应用。     

一种基于Android平台数据采集系统的设计与实现

针对快速变化的地理环境实体的数据采集作业,首先基于Android平台的二次开发技术进行了研究,分析了Android平台的开发框架和开发环境搭建流程;然后,针对数据采集作业进行了需求分析,设想了一种基于Android平台的数据采集系统,提出了该系统的逻辑设计和功能模块设计;最后,对所设想的系统进行了技术验证和效果实现。该系统的设计与实现对数据采集作业方式具有重要的技术参考价值。     

基于地块管理单元的规划与国土综合业务管理平台设计

综合业务管理平台是在规划与国土的业务基础上,以规划国土的"一张图"为数据中心,将地块作为基本单元,按项目唯一编号进行追加式串联管理。通过项目建设用地管理业务构建全流程空间地块信息与政务审批流程的一体化作业模式,以及建立项目建设用地规划国土全流程管理关联树。平台提供了基于信息系统的数据更新维护手段,为信息共享和领导决策提供了技术支持。     

基于ArcGIS的时空数据库的设计与实现

一般的数据库基本上不存储旧的、过时的数据，而时空数据库则包括任何历史数据，使数据库可以成为任何一个系统和部门的完整的电子信息档案库。本文通过基于ArcGIS基础空间数据库的建库，运用ArcGIS的历史归档机制，探索出一套时空数据库的设计与实现方案。