A hierarchical indexing strategy for optimizing Apache Spark with HDFS to efficiently query big geospatial raster data

ABSTRACT

Earth observations and model simulations are generating big multidimensional array-based raster data. However, it is difficult to efficiently query these big raster data due to the inconsistency among the geospatial raster data model, distributed physical data storage model, and the data pipeline in distributed computing frameworks. To efficiently process big geospatial data, this paper proposes a three-layer hierarchical indexing strategy to optimize Apache Spark with Hadoop Distributed File System (HDFS) from the following aspects: (1) improve I/O efficiency by adopting the chunking data structure; (2) keep the workload balance and high data locality by building the global index (k-d tree); (3) enable Spark and HDFS to natively support geospatial raster data formats (e.g., HDF4, NetCDF4, GeoTiff) by building the local index (hash table); (4) index the in-memory data to further improve geospatial data queries; (5) develop a data repartition strategy to tune the query parallelism while keeping high data locality. The above strategies are implemented by developing the customized RDDs, and evaluated by comparing the performance with that of Spark SQL and SciSpark. The proposed indexing strategy can be applied to other distributed frameworks or cloud-based computing systems to natively support big geospatial data query with high efficiency.     

最近和即将发生的崩解事件不会削弱埃默里冰架的稳定性

冰架崩解约占南极物质损耗总量的一半。借助卫星遥感本世纪已经观测到多次大型崩解事件,引发了公众对气候变化问题的广泛关注。然而作为冰架消涨的自然循环,某些崩解事件只是周期性重现而并非近年来南极升温导致。2019年9月-10月,我们通过“哨兵一号”雷达卫星和“京师一号”小卫星完整地记录到发生在埃默里冰架前端的一次大型崩解事件,并利用冰流数值模式模拟了本次以及未来两次即将发生的崩解事件对该冰架的动力学影响。遥感观测表明,埃默里冰架前端发育有两条纵向、两条横向和一条斜向共五条大型裂隙。它们沿尖端继续向上游延伸可以造成三次崩解事件,其中第一次发生于2019年9月末,D28冰山随普里兹湾涡流向西北方向旋转漂移。依据前人推测的崩解周期,我们在模型中设置五组试验,选择露出海面体积、接地面积、冰流通量三个参数估算冰架对三次崩解的响应。结果表明,通过设计合理的网格系统,我们的模型能够捕捉到每次崩解事件释放的物理信号。三次崩解总体响应趋于一致,仅表现出微弱的差异。在一个60年的崩解周期内,三次崩解引发冰流加速70 m/a,前端减薄2 m,接地线退缩60 km2,共约造成40亿吨额外的物质损耗。然而上述变化仍然处于最新卫星估算误差内部,所以我们认为这些崩解事件并不会显著削弱埃默里冰架整体的稳定结构。考虑到这还是首次明确观测到该冰架进入新一轮崩解周期,未来仍必要收集更长时间序列的遥感资料用以验证模式结果。     

一种移动式海洋地震仪的硬件电路研究

针对移动式海洋地震仪对控制系统电路设计的可靠性和低功耗的需求,提出了一种基于Cor-tex-M4内核芯片的硬件电路设计方案.首先选用超低功耗的STM32L4芯片作为微控制单元,在保证高运行能力的同时降低自身功耗;其次针对MCU(Microprogrammed Control Unit)、传感器等超低功耗模块提出针对性的...     

藏、汉对比视角下的城市空间环境认知研究——以中国西藏日喀则市为例

以分布式认知理论为基础,采用质性研究法、数量分析法以及GIS空间分析技术,探讨日喀则市藏族、汉族居民对城市空间环境认知的异同性。研究表明,藏族对城市空间环境的认知得分高于汉族对城市空间环境的认知得分。藏族、汉族对城市空间环境的认知水平可分为高、中、低3类。认知空间呈现圈层结构与混合结构模式,可分为藏汉一致性、藏族独立以及汉族独立3种认知空间类型。影响居民对城市空间环境的认知因素有共性因素和差异性因素。景观走廊质量、宜居性、基础设施两项是藏族居民关注的主要影响因素,汉族居民更关注公共服务设施的服务能力以及对当地文化的融入感。     

印度河上游Bagrot山谷降水稳定同位素变化及与水汽来源的关系

利用2015年8月至2016年7月在印度河上游流域Bagrot山谷降水稳定同位素（δ18O和δD）观测结果以及当地气象资料,利用同位素示踪及统计分析方法,并结合HYSPLIT模型,对研究区降水稳定同位素变化特征、大气水线以及水汽来源进行了分析。结果表明,观测期间Bagrot山谷降水稳定同位素的季节变化明显,δ18O与δD秋冬季偏低,春夏季偏高,且与气温变化一致,存在显著的温度效应,而降水量效应不明显。而且发现,研究区局地大气水线截距和斜率均低于全球的,反映了降水过程中云下二次蒸发作用较为强烈,特别是,不同的降水形态导致该研究区局地大气水线的斜率和截距不同。当液态降水（降雨）发生时,由于在较为干旱的气候环境下,雨滴在降落的过程中受到二次蒸发相对较强,使得局地大气水线的斜率和截距偏低;而当固态降水（降雪）发生时,由于温度较低,受再循环水汽和二次蒸发的影响较小,导致局地大气水线的斜率和截距均偏高。Bagrot山谷及其周边地区,从南到北局地大气水线的斜率相差不大,而其截距总体上随着纬度升高而降低,可能与云下二次蒸发导致稳定同位素发生的不平衡分馏逐渐强烈有关。通过Bagrot山谷站点降水稳定同位素观测结果并结合HYSPLIT模型的后向追踪,研究还发现,研究区全年主要受西风环流以及局地环流的影响。但与研究区以北的临近站点（慕士塔格、和田等）相比有所不同,由于Bagrot山谷位置更靠南,其仍然偶尔受到来自南方的海洋性水汽影响。这一研究结果可能对该地区树轮稳定同位素记录的解译具有一定的指示意义。     

基于2D地图的城市户外ARGIS视觉辅助地理配准技术

针对当前便携式位姿传感器获取的户外6DOF绝对位姿精度通常不足,致使基于位姿传感器的户外AR地理配准精度不高,提出了一种以2D地图作为参考数据进行户外视觉辅助定位进而提高ARGIS系统地理配准精度的方法和技术框架。在位姿传感器获取初始位姿的基础上,详细阐述了基于2D地图进行图像位姿优化和辅助校正的基本原理;并通过试验验证了该方法可以对位姿传感器获取的初始位姿进行优化,进而提高户外AR地理配准精度的有效性。     

吐哈盆地长流水地区铀矿成矿前景分析

在吐哈盆地中东部地区已投入部分铀矿找矿工作,但是没有取得较好的成果,本文拟对吐哈盆地中东部长流水地区铀成矿条件进行前景分析,对找矿提供一定的理论依据。研究区位于骆驼圈子浅凹陷中,南部蚀源区总体铀含量较高,目的层也具有较高的铀背景值,满足地下水的"补—径—排"条件,层间氧化带发育,通过钻探工作发现部分的铀异常以及铀矿化现象,具有较好的成矿条件。     

荒漠生态质量科学框架:概念、指标、监测及评估（英文）

荒漠生态系统是地球上最大的陆地生态系统,全球四分之一的人口生活在这一区域。清晰地定义荒漠生态系统生态质量,制定反映生态质量优劣的关键监测指标,集成"星–空–地"一体化监测技术、构建综合评价模型可为干旱区生态质量监测、促进区域可持续发展提供技术支撑。荒漠生态质量是指一定时空范围内荒漠生态系统要素、结构和功能的综合特征。该研究通过集成卫星、无人机和地面传感器网络的"星–空–地"一体化监测技术,在区域和站点两个尺度上对荒漠生态系统的生态要素、生物多样性和生态功能进行连续监测,通过标准化生态质量指标数值、厘定其阈值范围,构造判断矩阵建立生态质量综合评价模型,评价荒漠生态系统质量状况。本论文阐明了构建荒漠生态质量动态综合监测技术规范与评价方法的概念框架,为实现我国荒漠生态系统生态质量综合监测、科学诊断和定量评估提供理论基础。     

The Scientific Conceptual Framework for Ecological Quality of the Dryland Ecosystem: Concepts,Indicators, Monitoring and Assessment

The dryland ecosystem is the dominant component of the global terrestrial ecosystem since arid regions occupy 45% of the earth’s land area and feed 38% of the world's population. The stability and sustainable development of the dryland ecosystem are critical for achieving the millennium development goal (MDG) in the arid and semiarid areas. However, there is still no scientific guideline for measuring and conserving the health and productivity of dryland ecosystems. Therefore, the purpose of this study is to develop the scientific conceptual framework of defining, monitoring and evaluating the ecological quality of dryland ecosystems. The ecological quality of dryland ecosystems is represented by a system of comprehensive indicators that are each extracted from the ecological elements, and structural and functional indices of the ecosystem. These indicators can be monitored by integrating satellites and unmanned aerial vehicles with ground-based sensor networks at the scale of either observational sites or regional scales. Finally, the ecological quality can be evaluated by evaluation models based on the normalized index values and their thresholds. This paper presents a conceptual framework for monitoring and evaluating the ecological quality of drylands, which provides a way of advancing the monitoring, diagnosis, and evaluation of the ecological quality of the dryland ecosystems.     

南海大洋钻探及海洋地质与地球物理前沿研究新突破

南海是西太平洋地区规模最大且具有代表性的边缘海盆地之一。经过近几十年的研究积累,尤其是通过实施5个国际大洋钻探航次(1999–2018年)与国家自然科学基金委“南海深海过程演变”重大研究计划(2011–2019年),我国科学家获得了大量宝贵的第一手资料,取得了一系列创新进展与重大突破,标志着南海海洋地质与地球物理研究正走向国际前沿。重要研究成果包括:(1)新提出南海是“板缘张裂”盆地,与经典的大西洋型陆缘模式不同;(2)大洋钻探首次获取了基底玄武岩样品,结合中国在南海首次深拖地磁测量实验,精确测定了南海海盆玄武岩年龄,揭示南海海盆从东向西分段扩张;(3)大洋钻探结果发现南海陆缘岩石圈减薄之初岩浆迅速出现,未发现缓慢破裂造成的蛇纹岩出露;(4)发现南海扩张结束后仍存在大量岩浆活动,可能受控于多种构造与地幔因素;(5)地球化学证据与地球动力学模拟都显示南海岩浆的形成受到周边俯冲带的影响。目前我国的海洋地球科学正在进入崭新的发展阶段,有望以南海为基点,开始拓展到周边大洋,通过主导大型研究计划以及建设我国大洋钻探平台,以提升我国在南海、西太平洋与印度洋海洋地质科学研究的实质性影响力与引领地位。