移动轨迹数据可视化方法总结

作为移动社交网络的主体,人们移动带来的位置轨迹不仅记录了人的行为历史,也记录了人与社会的交互活动信息。移动社交网络中位置轨迹数据的分析与利用为解决城市问题提供了一种新的思路。本文概述了轨迹数据可视分析中的几种方法,总结了轨迹数据可视分析研究中存在的问题和面临的挑战。     

MapGIS到ArcGIS格式的数据转换方法研究——以麻阳县地质图为例

湖南地矿行业多采用MapGIS软件进行地质数据的管理和分析,然而,该软件在数据处理和分析方面略显不足,尤其在处理大数据时更是力不从心,且其中的67版本难以满足2000坐标系统的要求。因此,为了更加有效地使用已有的数据,并充分发挥其价值,本文以麻阳县地质图为例,通过研究MapGIS和ArcGIS软件之间的异同,总结出一套较为完整的MapGIS到ArcGIS格式的数据转换方法,使得转换前后的数据在数量、样式、属性等方面基本保持一致。     

A hierarchical indexing strategy for optimizing Apache Spark with HDFS to efficiently query big geospatial raster data

ABSTRACT

Earth observations and model simulations are generating big multidimensional array-based raster data. However, it is difficult to efficiently query these big raster data due to the inconsistency among the geospatial raster data model, distributed physical data storage model, and the data pipeline in distributed computing frameworks. To efficiently process big geospatial data, this paper proposes a three-layer hierarchical indexing strategy to optimize Apache Spark with Hadoop Distributed File System (HDFS) from the following aspects: (1) improve I/O efficiency by adopting the chunking data structure; (2) keep the workload balance and high data locality by building the global index (k-d tree); (3) enable Spark and HDFS to natively support geospatial raster data formats (e.g., HDF4, NetCDF4, GeoTiff) by building the local index (hash table); (4) index the in-memory data to further improve geospatial data queries; (5) develop a data repartition strategy to tune the query parallelism while keeping high data locality. The above strategies are implemented by developing the customized RDDs, and evaluated by comparing the performance with that of Spark SQL and SciSpark. The proposed indexing strategy can be applied to other distributed frameworks or cloud-based computing systems to natively support big geospatial data query with high efficiency.     

4种再分析月降水数据在内蒙古地区的适用性分析

利用1981—2020年气象台站的实测降水数据,对CRA40、ERA5、JRA55和MERRA2这4种再分析月降水数据在内蒙古地区的降水分布特征,与实测降水的相关性和误差进行分析。结果表明：(1)内蒙古地区4种再分析降水数据的空间分布与台站降水基本一致,误差分析表明CRA40与MERRA2的数据质量较高,ERA5次之,而JRA55数据质量相对较差。(2)CRA40和MERRA2在1983—1986年存在明显的降水低估,ERA5在2005年之后的内蒙古中东部出现明显的降水低估,JRA55在115°E以东存在明显降水高估,在115°E以西则以降水低估为主。(3)4种再分析月降水数据的年内最大均方根误差和绝对误差均集中在6—8月,与台站降水相关系数的年内最小值均出现在7月,内蒙古夏季汛期是再分析降水误差产生的主要时段。     

集合数据同化方法的发展与应用概述

集合数据同化方法具有简洁概念化的公式和应用起来相对容易等优点,因此,它们获得了普及性的应用;近10年来集合数据同化方法已经得到了快速的发展。综述了包括集合卡尔曼滤波(EnKF,Ensemble Kalman Filter)、集合卡尔曼平滑(EnKS,Ensemble Kalman Smoother)、集合方均根滤波(EnSRF,Ensemble Square-Root Filter)和减秩卡尔曼滤波(SEEK,Singular Evolutive Extended Kalman Filter)等集合数据同化方法的研究进展状况。通过与其它数据同化方法的对比,总结出了这些方法的特点,探讨了我国在集合数据同化方法研究中存在的问题并展望了该方法的研究和应用前景。     

面向遥感大数据的地学知识图谱构想

由于地球表面的时空异质性与复杂性,传统从遥感影像具有的信息特征出发,构建智能解译算法解决遥感地学认知的思路在应对面向全球的海量遥感大数据分析时,其精度和地学实用性已触及瓶颈.为此,本文从地学知识为核心的角度出发,结合当前知识图谱理论的发展,提出一种新的面向遥感大数据分析的地学思维构想——地学知识图谱.本构想将地学知识的...     

一种移动式海洋地震仪的硬件电路研究

针对移动式海洋地震仪对控制系统电路设计的可靠性和低功耗的需求,提出了一种基于Cor-tex-M4内核芯片的硬件电路设计方案.首先选用超低功耗的STM32L4芯片作为微控制单元,在保证高运行能力的同时降低自身功耗;其次针对MCU(Microprogrammed Control Unit)、传感器等超低功耗模块提出针对性的...     

基于双隐层ANN模型的叶绿素a浓度智能预报方法

利用2019年5月WZ02生态浮标监测数据,建立了两种不同隐层人工神经网络(ANN)模型的叶绿素a(Chl-a)智能预报方法,并对单隐层和双隐层模型的预测结果做了对比.结果表明:双隐层结构预测结果精度更高,泛化能力更强,一定程度上说明了深层学习比浅层学习对信息的主要特征提取能力更有优势.同时,对数据样本集合进行了系统预...     

开展含水层非均质性数据融合研究

提出应大力开展含水层非均质性的数据融合研究。指出应充分吸收利用相邻学科已有的研究成果,从易到难,首先应将军事领域已相对成熟的数据融合技术移植过来,开展孔隙含水层非均质性的数据融合研究。论述了含水层非均质性数据融合研究的主要研究思路和研究内容,并展示了初步研究成果。     

长江三角洲气象数据实时共享技术研究与实现

通过基于数据超市理念的气象数据实时共享技术研究,首次建成上海、浙江、江苏、安徽三省一市间互联互通的长江三角洲(长三角)气象数据实时共享平台。该平台设计并使用标准规范体系,建立基于分布式的数据管理模式,采用多层系统架构,实现物理上分布、逻辑上统一的长三角区域气象数据资源组织与共享。能有效支持短临天气预报对实时数据的高时效要求,支持灾害性天气移动观测、加密观测业务的数据共享,提高气象数据实时共享效率,降低数据更新分发的难度。