MapGIS到ArcGIS格式的数据转换方法研究——以麻阳县地质图为例

湖南地矿行业多采用MapGIS软件进行地质数据的管理和分析,然而,该软件在数据处理和分析方面略显不足,尤其在处理大数据时更是力不从心,且其中的67版本难以满足2000坐标系统的要求。因此,为了更加有效地使用已有的数据,并充分发挥其价值,本文以麻阳县地质图为例,通过研究MapGIS和ArcGIS软件之间的异同,总结出一套较为完整的MapGIS到ArcGIS格式的数据转换方法,使得转换前后的数据在数量、样式、属性等方面基本保持一致。     

A hierarchical indexing strategy for optimizing Apache Spark with HDFS to efficiently query big geospatial raster data

ABSTRACT

Earth observations and model simulations are generating big multidimensional array-based raster data. However, it is difficult to efficiently query these big raster data due to the inconsistency among the geospatial raster data model, distributed physical data storage model, and the data pipeline in distributed computing frameworks. To efficiently process big geospatial data, this paper proposes a three-layer hierarchical indexing strategy to optimize Apache Spark with Hadoop Distributed File System (HDFS) from the following aspects: (1) improve I/O efficiency by adopting the chunking data structure; (2) keep the workload balance and high data locality by building the global index (k-d tree); (3) enable Spark and HDFS to natively support geospatial raster data formats (e.g., HDF4, NetCDF4, GeoTiff) by building the local index (hash table); (4) index the in-memory data to further improve geospatial data queries; (5) develop a data repartition strategy to tune the query parallelism while keeping high data locality. The above strategies are implemented by developing the customized RDDs, and evaluated by comparing the performance with that of Spark SQL and SciSpark. The proposed indexing strategy can be applied to other distributed frameworks or cloud-based computing systems to natively support big geospatial data query with high efficiency.     

SMAP卫星海表盐度产品的检验与校正

In this study, sea surface salinity(SSS) Level 3(L3) daily product derived from soil moisture active passive(SMAP)during the year 2016, was validated and compared with SSS daily products derived from soil Moisture and ocean salinity(SMOS) and in-situ measurements. Generally, the root mean square error(RMSE) of the daily SSS products is larger along the coastal areas and at high latitudes and is smaller in the tropical regions and open oceans. Comparisons between the two types of daily satellite SSS product revealed that the RMSE was higher in the daily SMOS product than in the SMAP, whereas the bias of the daily SMOS was observed to be less than that of the SMAP when compared with Argo floats data. In addition, the latitude-dependent bias and RMSE of the SMAP SSS were found to be primarily influenced by the precipitation and the sea surface temperature(SST). Then, a regression analysis method which has adopted the precipitation and SST data was used to correct the larger bias of the daily SMAP product. It was confirmed that the corrected daily SMAP product could be used for assimilation in high-resolution forecast models, due to the fact that it was demonstrated to be unbiased and much closer to the in-situ measurements than the original uncorrected SMAP product.     

4种再分析月降水数据在内蒙古地区的适用性分析

利用1981—2020年气象台站的实测降水数据,对CRA40、ERA5、JRA55和MERRA2这4种再分析月降水数据在内蒙古地区的降水分布特征,与实测降水的相关性和误差进行分析。结果表明：(1)内蒙古地区4种再分析降水数据的空间分布与台站降水基本一致,误差分析表明CRA40与MERRA2的数据质量较高,ERA5次之,而JRA55数据质量相对较差。(2)CRA40和MERRA2在1983—1986年存在明显的降水低估,ERA5在2005年之后的内蒙古中东部出现明显的降水低估,JRA55在115°E以东存在明显降水高估,在115°E以西则以降水低估为主。(3)4种再分析月降水数据的年内最大均方根误差和绝对误差均集中在6—8月,与台站降水相关系数的年内最小值均出现在7月,内蒙古夏季汛期是再分析降水误差产生的主要时段。     

集合数据同化方法的发展与应用概述

集合数据同化方法具有简洁概念化的公式和应用起来相对容易等优点,因此,它们获得了普及性的应用;近10年来集合数据同化方法已经得到了快速的发展。综述了包括集合卡尔曼滤波(EnKF,Ensemble Kalman Filter)、集合卡尔曼平滑(EnKS,Ensemble Kalman Smoother)、集合方均根滤波(EnSRF,Ensemble Square-Root Filter)和减秩卡尔曼滤波(SEEK,Singular Evolutive Extended Kalman Filter)等集合数据同化方法的研究进展状况。通过与其它数据同化方法的对比,总结出了这些方法的特点,探讨了我国在集合数据同化方法研究中存在的问题并展望了该方法的研究和应用前景。     

面向遥感大数据的地学知识图谱构想

由于地球表面的时空异质性与复杂性,传统从遥感影像具有的信息特征出发,构建智能解译算法解决遥感地学认知的思路在应对面向全球的海量遥感大数据分析时,其精度和地学实用性已触及瓶颈.为此,本文从地学知识为核心的角度出发,结合当前知识图谱理论的发展,提出一种新的面向遥感大数据分析的地学思维构想——地学知识图谱.本构想将地学知识的...     

基于双隐层ANN模型的叶绿素a浓度智能预报方法

利用2019年5月WZ02生态浮标监测数据,建立了两种不同隐层人工神经网络(ANN)模型的叶绿素a(Chl-a)智能预报方法,并对单隐层和双隐层模型的预测结果做了对比.结果表明:双隐层结构预测结果精度更高,泛化能力更强,一定程度上说明了深层学习比浅层学习对信息的主要特征提取能力更有优势.同时,对数据样本集合进行了系统预...     

开展含水层非均质性数据融合研究

提出应大力开展含水层非均质性的数据融合研究。指出应充分吸收利用相邻学科已有的研究成果,从易到难,首先应将军事领域已相对成熟的数据融合技术移植过来,开展孔隙含水层非均质性的数据融合研究。论述了含水层非均质性数据融合研究的主要研究思路和研究内容,并展示了初步研究成果。     

长江三角洲气象数据实时共享技术研究与实现

通过基于数据超市理念的气象数据实时共享技术研究,首次建成上海、浙江、江苏、安徽三省一市间互联互通的长江三角洲(长三角)气象数据实时共享平台。该平台设计并使用标准规范体系,建立基于分布式的数据管理模式,采用多层系统架构,实现物理上分布、逻辑上统一的长三角区域气象数据资源组织与共享。能有效支持短临天气预报对实时数据的高时效要求,支持灾害性天气移动观测、加密观测业务的数据共享,提高气象数据实时共享效率,降低数据更新分发的难度。     

长三角地区城市国际化水平研究——基于来华外国人手机国际漫游信令数据

在深入理解城市国际化内涵的基础上,以来华外国人手机国际漫游信令数据为支撑,从外国人人流联系视角构建了城市国际化水平的评价方法框架,包括外国人流动网络中心度、外国人流动联系强度、外国人国籍多样度3个方面.以长三角三省一市为研究对象进行了实证分析,结果表明:城市的国际化水平与城市的规模及等级总体上具有正相关性,但中小城市通...