基于Hadoop的土地时空大数据集成框架设计研究

本文提出了基于Hadoop集群计算的土地时空大数据集成平台框架,并初步实现了原型系统,对关键技术进行了验证.实例验证结果显示,利用本研究提出的技术路线和框架,可以极大地提升海量土地时空数据的管理水平、处理能力和服务效率.     

Hadoop支持下的地理信息大数据处理技术初探

大数据时代的到来,给GIS的创新发展带来了前所未有的机遇。本文对Hadoop和GIS进行了研究分析,提出了基于Hadoop的GIS大数据处理模型。试验结果显示,该模型能够扩充Hadoop的空间运算能力,对后期地理信息大数据挖掘和分析有一定的参考价值。     

Hadoop框架下海量影像数据库管理系统的研究与实现

针对传统影像管理方式不能进行T级及以上量级影像数据管理的难题,基于开源分布式云平台Hadoop框架,研究设计了云计算环境下的遥感影像数据组织模型（RSC-DOM）,利用镶嵌数据集技术、影像无缝集成技术等多种新技术,构建了海量影像数据库管理系统,实现了海量影像数据的高效组织、管理及应用。     

地理大数据聚合的内涵、分类与框架

地理大数据是地理对象所产生的“足迹数据”,而地理大数据挖掘就是通过反演分析地理对象的“足迹数据”,揭示其中蕴含的人地关系及其时空模式。近年关于地理大数据的重大研究进展显示,其研究结论的取得大多需要借助多种大数据的信息综合。为此,本文提出研究地理大数据聚合的必要性：代表新的研究范式、产生新的研究视角、提升研究的全面性,并将地理大数据聚合定义为：不同地理大数据之间通过转换形成面向研究对象的多维数据集合。在阐述地理大数据分类和特点的基础上,将地理大数据聚合分为：时空聚合、面向对象聚合、面向主题聚合以及面向模型聚合四种类型。地理大数据聚合作为地理大数据挖掘的重要组成部分,其过程大致可以分为：确定内核—信息溯源—反演汇聚3个步骤,而其中的关键科学问题包括：统一时空框架和基准、统一数据表达与存储、匹配同一观测对象的多数据源、统一多源数据的时空范围、调和不同对象之间不同的变化速率、解决数据共享与隐私保护、大数据与小数据的聚合等。地理大数据聚合方法与技术的发展,将会拓展地方的感知、土地功能的识别、对人群的观测与理解、功能与流动之间关系、地表复杂巨系统等新领域的研究。     

基于数据立方体的郑州城市地质数据分类组织

地质数据具有多维度属性,采用单一的数据分类方法对数据进行组织,难以满足地质数据多元化应用和服务的需求。针对地质数据难以有效分类这一问题,以郑州市为例,建立了该市多要素城市地质调查数据分类立方体模型,实现了郑州市多要素城市地质调查数据可根据业务需求动态生成数据组织目录,为海量、多源异构地质数据的快速检索与发现奠定坚实的基础。     

一种基于ELK框架的地理信息动态时空数据获取与挖掘方法

尝试将ELK框架在大规模日志实时处理方面的能力抽离出来,将其优势能力与地理信息技术相结合,提供一种基于ELK框架的地理信息动态时空数据获取与挖掘方法。该方法通过建立机制动态采集海量级非结构化数据,并实时筛取与地理要素相关的时空信息,从而实现海量级分析样本下的地理信息时空数据的实时动态分析与挖掘。最后以上海市快速路交通流量作为研究对象验证该方法模型,试验结果能够反映一定的社会潜在规律并提供相关指导价值,证明方法可行,并对方法的优缺点进行了记录与分析。     

地理国情大数据研究框架

地理国情监测作为大数据时代测绘地理信息领域一个新的、重要战略方向,其发展迫切需要顶层设计与新型技术的支撑,需要建立一种灵活、高效、低成本的大数据处理模式与服务方式。本文以地理国情监测与大数据研究相结合为切入点,阐述了地理国情大数据的分类及特点,提出了云计算环境下地理国情大数据研究架构,并从地理国情大数据存储、处理、挖掘、应用服务4个方面探讨了地理国情大数据云平台建设思路。本文将有助于地理国情监测的生产方式与服务模式变革,推动地理国情监测的广泛应用与产业化发展。     

基于数据融合的浅层地下水提取技术研究

为提高浅层地下水遥感探测的准确性和效率,开辟遥感找水新思路,首次将空间分辨率为30 m的Landsat-7ETM多光谱数据和空间分辨率为150 m(Wide Swath模式)的Envisat-1 ASAR先进合成孔径雷达数据进行了融合,并利用基于主成分变换(PCA)和小波变换(WT)的融合算法成功地找到了浅层地下水信息异常带。通过实地调查和物探、钻探验证,I、II、III级找水靶区的富水性情况与预测结果基本一致,并在上述靶区找到了丰富的浅层地下水,证实了该方法的可行性和实用性,可为今后地下水快速勘察提供新的技术手段。     

地质大数据轻量化集成展示与专题应用

地质大数据是智慧地矿工程建设的基础。长期以来地质工作形成了海量多源异构数据,有效地将地质大数据进行整合、集成并加以应用,已成为智慧地矿工程建设的关键环节。本文分别对地质大数据集成面临的主要问题与解决思路,大数据集成平台的设计及项目应用等方面展开阐述。构建了多维动态可视化平台,在Web页面绘制了虚拟仿真地理场景并叠加了丰富的地理空间数据,对多维数据进行了可视化展示,采用B/S架构实现了无插件、轻量级的Web可视化页面展示,并实现了场景展示、地理数据处理、三维分析等功能。     

大数据视角下的多源组织机构代码信息融合方法

大数据的产生为电子政务带来了新的机遇与挑战,也为作为电子政务信息资源之一的组织机构代码提供了全新的认知理解角度。目前政府决策时使用的数据信息资源仍未完全统一,存在数据结构和类型差异明显、数据资源不统一等问题。为了使这些孤立的数据能够更好地实现资源共享,把位于不同信息源上的数据融合起来,本文在分析讨论组织机构代码和大数据共同特点的基础上,提出一种基于多源组织机构代码信息的数据融合方法。该方法基于组织机构代码、法人信息、组织机构名称3个方面信息,实现不同来源的信息融合。实验表明,该方法的融合率达到97%,准确率为87.4%。     

大数据时代的空间数据挖掘综述

随着大数据时代的到来,数据挖掘技术再度受到人们关注。本文回顾了传统空间数据挖掘面临的问题,介绍了国内外研究中利用大数据处理工具和云计算技术,在空间数据的存储、管理和挖掘算法等方面的做法,并指出了该类研究存在的不足。最后,探讨了空间数据挖掘的发展趋势。     

佛山市税源地图大数据展示系统的设计与实现

在智慧时空大数据与云平台建设工作中,如何进一步挖掘分析海量空间数据是实现高效应用的一项关键任务。针对佛山市税务机关的业务需求,研究了基于Hadoop框架的大数据技术,结合GIS数据,利用互联网云平台对海量税务数据进行存储、计算、分析的佛山市税源地图大数据展示系统的设计与实现。     

遥感大数据自动分析与数据挖掘

成像方式的多样化以及遥感数据获取能力的增强,导致遥感数据的多元化和海量化,这意味着遥感大数据时代已经来临.然而,现有的遥感影像分析和海量数据处理技术难以满足当前遥感大数据应用的要求.发展适用于遥感大数据的自动分析和信息挖掘理论与技术,是目前国际遥感科学技术的前沿领域之一.本文围绕遥感大数据自动分析和数据挖掘等关键问题,深入调查和分析了国内外的研究现状和进展,指出了在遥感大数据自动分析和数据挖掘的科学难题和未来发展方向.     

湖北交通运输大数据存储应用平台设计与实现

针对当前湖北省交通运输数据的存储管理与应用瓶颈,结合目前大数据技术的发展背景,本文基于Hadoop生态体系设计与实现了针对湖北交通运输业务的大数据存储分析平台。文中从总体架构、存储结构、扩展架构、数据接入与治理、分布式任务调度的设计实现到平台的应用场景进行了论述,并使用10年的高速公路数据与具体业务场景对平台进行了存储与效率实验。实验结果表明,相比传统关系型数据库,该平台在数据存储、查询计算方面均具有非常明显的优越性。     

大数据时代地矿数据资源服务的关键技术探讨

地矿数据的质量、数量和更新时效已成为衡量一个国家地质调查工作水准和社会化服务水平的基础标准之一,大数据时代下信息技术的飞速发展推动了地矿行业的数据资源共享和信息化服务水平的提高,但是,地矿行业属于传统行业,信息化水平不高、智能化水平更是欠缺.本文从地矿数据资源如何服务于经济社会发展进行探讨,重点论述了四大关键技术:1)...     

面向大数据时代的数据融合系统之空间数据挖掘、分析和改进

多重空间数据因其可用性及几何和主题方面的质量差异,催生了针对数据挖掘方法研究的新系统开发,其中包括了异构空间数据结构分析与改进的处理进程。本文介绍了空间数据融合系统（ DAFU）的概念、架构与功能性方面的内容,DAFU能够有效使用异构空间数据信息并可进行地理数据的个体使用。     

数字矿山建设中非结构化与结构化数据的融合

非结构化数据与结构化数据的融合是数字矿山建设的重要组成部分。由于非结构化数据本身的数据特点,使得它与结构化数据的融合面临极大的困难。融合了多种数据模型构造了一种扩充的面向对象的数据模型,较好地解决了非结构化数据快速显示和更新的问题,同时又能满足数据融合的各种需要,并结合实例实现了该模型,取得了良好的效果。     

社交网络时空大数据聚类挖掘有效选择分析

来自社交网络的时空大数据具有海量和高动态的特性,有效选择时空数据进行聚焦挖掘分析至关重要。以微博位置签到数据为例,首先,对时空大数据空间聚类挖掘的有效选择问题进行了研究,针对社交网络时空数据不确定性问题,提出了时空大数据针对聚类挖掘的有效选择方法。聚类挖掘有效选择方法提出从空间、时间或属性等维度对时空大数据进行分割。然后,对分割得到的数据集进行空间探索分析(exploratory spatial data analysis,ESDA),得到具有聚类挖掘潜力的数据集。最后,以武汉市微博位置签到数据进行商圈热点探测为例,对提出的社交网络时空大数据聚类挖掘有效选择方法进行验证。结果表明,有效选择方法可以得到挖掘效率和精准性更高的时空数据集。     

面向地理信息企业的时空大数据服务平台设计与实现

针对地理信息企业内部拥有的地理信息资源呈爆炸式增长态势,以及公有云在地理信息企业推广中面临的安全性与可靠性问题,本文设计了一个采用混合云模式搭建基于Hadoop技术的时空大数据服务平台的方案,并依据方案建设了集数据存储、管理、共享和分发利用的图、属一体化空间数据管理平台,为企业不同场景提供服务.     

基于空间大数据技术的海南城乡规划研究

主要探讨了大数据时代下的海南城乡规划研究,从空间大数据技术在城乡规划各个阶段的应用入手,讨论了空间大数据技术对海南城乡规划的影响,指出了海南城乡规划目前存在的问题,指明了海南自由贸易试验区和中国特色自由贸易港建设背景下海南城乡规划的发展方向.