空间大数据在MongoDB中的存储探索

最近几年,IT技术,特别是云计算和大数据技术的发展,给传统的地理信息软件平台带来了很大变革.作为地理信息的核心技术之一,空间数据存储技术在地理信息软件平台中发挥着重要的作用,是实现高效的空间查询和空间分析的技术基础.面对数据量的爆发性增长、数据类型的增多等大数据问题,传统的关系型数据库很容易遇到存储瓶颈,存在诸如存储效率低、并发访问能力弱、横向扩展难等问题,这使得发展新的空间大数据存储技术势在必行.为解决传统关系型数据库在面对海量多源异构数据存储时遇到的上述问题,本文利用分布式存储NoSQL数据库进行了空间大数据存储和查询的技术探索,并通过一系列实验证明MongoDB数据库是一种有效的存储空间大数据的方法.     

空间大数据分析引擎的设计与实现

针对空间大数据分析需求日益增加但缺乏关键技术支撑的问题,融合GIS与大数据技术构建空间大数据分析引擎成为有效的解决方法.本文基于SuperMap iObjects for Java和Apache Spark计算框架设计并实现了空间大数据分析引擎,并将其用于计算航路拥挤情况的要素连接分析实验.研究结果表明,空间大数据分析引擎处理性能高,具备保障空间大数据分析的能力.     

遥感大数据分布式技术研究与实现

面向卫星遥感海量数据,针对其数据量的急速增长,对数据分析、价值挖掘提出了全新的挑战,引入驱动大数据应用的分布式模式,建立了适应卫星遥感大数据的网格模型,打破了数据的时空割裂和限制,数据可以作为整体进行存储、计算和应用,模型设计的网格、时间片、物理层的基本结构,可以保证未来云计算的实施。该文提出了基于希尔伯特曲线的网格散列算法,以此建立的分布式系统具有优异的并行读写性能和良好的负载均衡能力;遥感大数据分布式系统,实现了数据的高速分布式并行读写,支持数据的精确时空匹配和动态获取,整个系统的扩展能力可以达到线性增长,系统基于通用软硬件平台实施,实现卫星遥感大数据灵活、按需和简便的应用。     

以交叉累积剩余熵为准则的星载激光测高仪大光斑波形数据与地形匹配法

提出了一种基于交叉累积剩余熵的星载激光测高仪大光斑波形数据与地形匹配方法。根据星载激光测高仪大光斑回波波形信号包含地形结构信息的特性,将激光回波波形数据和数字表面模型(DSM)投影到统计特征空间,建立数据的统计特征向量,消除数据间维度差异,以交叉累积剩余熵为相似性测度匹配波形数据与地形的统计特征。试验结果表明,本方法能够较好地实现激光回波波形数据与地形的匹配,匹配精度达到一个像素以内。     

一种时空路径支持下的车辆油耗与排放估计方法

交通运输中能耗与污染物排放给人类环境带来了严峻挑战。本文提出了一种时空路径支持下的油耗、排放估计新方法。该方法首先在时空集成的三维坐标系下建立个体车辆的时空路径并从中识别移动/停留行为,然后根据时空路径段与提取的运动参数利用COPERT模型估计车辆的油耗和排放,最后提出一种时空路径的N维表达模型,将车辆的运动特征与时空路径段的油耗与排放统一进行可视化。试验中利用武汉市GPS轨迹大数据估计并分析了单辆车与路网片区的油耗与排放,结果显示本文提出的时空路径支持下的车辆油耗与排放估计方法在估计精度与可视化方面优于传统的基于平均速度估计方法,能够更加准确地估计和表达车辆油耗与排放。     

大数据下面向房地产便利性的综合指数模型

针对房地产便利性描述信息缺少量化和难以比较的问题,该文提出了一种利用大数据测度房地产便利性的综合指数模型。房地产便利性的描述信息往往是定性描述的、单一或单方面的,缺乏综合或整体的定量化评价,从而给不同房地产之间在便利性方面的横向比较造成了困难。该文在引入步行指数概念基础上,通过对便利设施的分类、分级以及便利设施与房地产之间步行距离的定量计算,获得综合衡量房地产便利性的一种实数型指数。基于百度在线地图的实验结果表明:所提模型可以自动测度任一房地产的便利性指数。     

大数据与小数据结合：信息时代城市研究方法探讨

信息技术的快速发展引起了城市研究领域的“大数据”热潮,并带来了传统城市研究方法的变革。但是,其自身存在的诸多缺陷使得学者不得不重新考虑传统小数据的应用角色。但是,传统小数据并没有失去其应用价值,相反,以城市与居民行为活动关系研究为主体的信息时代的城市研究必要充分结合大数据与小数据,并探讨适宜的方法论与方法框架,从而应对日益复杂的城市问题和居民需求。提出“物质空间与活动空间结合”、“相关关系与因果关系结合”、“宏观分析与微观挖掘结合”的3个方法论,并在此基础上构建了“大样本空间发展评价+空间差异与联系发现+小样本影响因素探究”、“小样本模型构建+影响因素发现+大样本验证及挖掘”、“微观活动分析+活动空间界定+影响因素探究”3种方法框架,且分析了这些框架的具体应用,以期为未来的城市研究提供思路和方法借鉴。     

A comprehensive methodology for discovering semantic relationships among geospatial vocabularies using oceanographic data discovery as an example

It is challenging to find relevant data for research and development purposes in the geospatial big data era. One long-standing problem in data discovery is locating, assimilating and utilizing the semantic context for a given query. Most research in the geospatial domain has approached this problem in one of two ways: building a domain-specific ontology manually or discovering automatically, semantic relationships using metadata and machine learning techniques. The former relies on rich expert knowledge but is static, costly and labor intensive, whereas the second is automatic and prone to noise. An emerging trend in information science takes advantage of large-scale user search histories, which are dynamic but subject to user- and crawler-generated noise. Leveraging the benefits of these three approaches and avoiding their weaknesses, a novel methodology is proposed to (1) discover vocabulary-based semantic relationships from user search histories and clickstreams, (2) refine the similarity calculation methods from existing ontologies and (3) integrate the results of ontology, metadata, user search history and clickstream analysis to better determine their semantic relationships. An accuracy assessment by domain experts for the similarity values indicates an 83% overall accuracy for the top 10 related terms over randomly selected sample queries. This research functions as an example for building vocabulary-based semantic relationships for different geographical domains to improve various aspects of data discovery, including the accuracy of the vocabulary relationships of commonly used search terms.     

基于大数据的海洋环境监测数据集成与应用

面对多源异构的海量数据的集成,传统的集成方法和技术无法实现,直到大数据技术的出现才有了可能.应用大数据技术实现多源异构的海洋环境监测数据集成,有利于海洋环境监测数据的共享,避免信息孤岛的出现,同时为数据的分析、挖掘等提供了所需的数据.文中重点讨论了基于大数据和数据虚拟化平台技术,参照ODM2信息模型和MMI ORR本体语义框架来实现多源异构的海洋环境监测数据的集成问题,并在数据集成的基础上,探讨了多源异构数据查询、综合展示应用的实现方法.此研究有利于解决海量海洋环境监测数据管理难题、满足海洋环境科研工作者的大数据需求、实现数据驱动决策、提升海洋环境管理水平.     

油气资源地质调查大数据架构与应用研究

分析了我国油气资源地质调查数据共享及应用服务存在的主要问题,简析了国内外油气大数据研究现状。基于我国油气资源地质调查服务目标和主流大数据建设技术,提出了油气资源地质调查大数据逻辑架构和应用架构,并展望了油气资源调查大数据中心在油气地质调查、盆地协同研究、社会公益服务等方面的应用。