A hierarchical indexing strategy for optimizing Apache Spark with HDFS to efficiently query big geospatial raster data

ABSTRACT

Earth observations and model simulations are generating big multidimensional array-based raster data. However, it is difficult to efficiently query these big raster data due to the inconsistency among the geospatial raster data model, distributed physical data storage model, and the data pipeline in distributed computing frameworks. To efficiently process big geospatial data, this paper proposes a three-layer hierarchical indexing strategy to optimize Apache Spark with Hadoop Distributed File System (HDFS) from the following aspects: (1) improve I/O efficiency by adopting the chunking data structure; (2) keep the workload balance and high data locality by building the global index (k-d tree); (3) enable Spark and HDFS to natively support geospatial raster data formats (e.g., HDF4, NetCDF4, GeoTiff) by building the local index (hash table); (4) index the in-memory data to further improve geospatial data queries; (5) develop a data repartition strategy to tune the query parallelism while keeping high data locality. The above strategies are implemented by developing the customized RDDs, and evaluated by comparing the performance with that of Spark SQL and SciSpark. The proposed indexing strategy can be applied to other distributed frameworks or cloud-based computing systems to natively support big geospatial data query with high efficiency.     

Three new species of Anthomedusae (Hydrozoa: Hydroidomedusa) from the Guangdong coastal water, China

The samples of Anthomedusae were collected from the Guangdong coastal water,China.Three new species of Anthomedusae,i.e.Zhangiella condensum Huang,Zhang et Sun,sp.nov.,Hydractinia leizhouensis Huang,Zhang et Yang,sp.nov.,and Cladosarsia simplex Huang,Zhang et Ke,sp.nov.are described.All type specimens are deposited in College of Ocean and Earth Sciences,Xiamen University.     

2012-2016年调水调沙对黄河口海域大型底栖动物群落结构的影响

为了明确黄河调水调沙对河口海域大型底栖动物群落结构的影响,本研究于2012至2016年调水调沙后进行了大型底栖动物样品的采集工作。整个研究时期共鉴定出大型底栖动物7门138种,生物量和丰度2012年显著高于2016年,生物量年间无显著差异;研究时期内优势种以小型多毛类为主,鲜见软体动物、节肢动物和棘皮动物,其中2016年优势种全部为小个体多毛类;MDS显示,随时间的推移距河口不同距离梯度的大型底栖动物逐渐演变为相同的群落结构,且Shannon-Wiener多样性指数和Margalef丰富度指数呈下降趋势;CCA显示研究海域主要底栖动物种类的生态需求为高中值粒径、低溶解氧、pH、黏土和硫化物含量。本研究推测调水调沙工程一定程度上影响了底层生物群落结构,特别是研究海域的A断面。     

潮汐和风对马六甲海峡海流的影响

基于非结构有限体积法海洋模型FVCOM(Finite-Volume Community Ocean Model), 建立了马六甲海峡及其毗邻海域高分辨率水动力数值模型, 研究了风和潮流作用下的余环流结构以及水体输运特征。结果表明, 马六甲海峡航道中央潮流运动以往复流为主, 边缘存在旋转流; 主要研究区域内落潮流速略大于涨潮流速, 东南窄道处流速最大; 因峡道束窄变浅, 在涨落潮过程中潮流发生汇聚与分离; 主要研究区域东南段存在3个显著的潮致余环流; 东北季风驱动时模型响应为海峡海流整体向西北方向流动, 西南季风时反之; 季风期间潮致表层余环流结构被破坏, 但底层余流仍存在水平环流结构, 且随着风速增加, 底层余环流的数目、大小、形状、位置均会产生变化; 季风过渡期余环流结构也会发生部分改变, 尤其是小潮期间风场影响效果显著。     

简介加利福尼亚理工学院建筑结构健康状态的实时监测和性能评估系统

介绍了加利福尼亚理工学院建筑结构健康状态的实时监测和性能评估系统近年来的发展。该系统安装在帕斯迪纳市的加利福尼亚理工学院校园里的米利肯图书馆内。它通过互联网向全世界提供真实的实时数据。     

Salinivibrio sp.YH4胞外丝氨酸蛋白酶EYHS耐盐性及生物信息学分析

摘要：目的 探讨菌株Salinivibrio sp.YH4分泌的丝氨酸蛋白酶EYHS的耐盐性及结构特征。方法 明胶底物酶谱法分析EYHS的耐盐性。应用生物信息学手段对EYHS及6种耐盐的S8家族丝氨酸蛋白酶结构特征进行分析。结果 EYHS在4 mol/L的NaCl溶液中仍具有活性,属于耐盐蛋白酶。EYHS及6种S8家族丝氨酸蛋白酶分子表面的loop区等无规则卷曲所占比例较高,α-螺旋与β-片层则主要位于酶分子内部。EYHS分子表面酸性氨基酸含量较高,且具有弱疏水内核。多序列比对发现蛋白酶的催化三联体两侧存在高度保守的基序和保守的极性氨基酸及芳香族氨基酸,并存在多个保守的Gly与Ala。同源模建和表面电荷分布显示,α螺旋和β片层围成了蛋白酶的催化腔,EYHS活性中心包含由Asp32、His65与Ser215组成的催化三联体,且催化位点区域表面静电势为负。结论 上述结构特征可能有助于耐盐丝氨酸蛋白酶EYHS在高盐环境下维持其稳定性和适度柔性,并有助于其催化功能的发挥,为深入研究耐盐丝氨酸蛋白酶的高盐环境适应性提供了一定的理论依据。     

Feasibility of Re-injecting the Production Effluent from Alkali–Surfactant–Polymer Flooding Systems Back into a Reservoir to Further Improve Oil Recovery

Natural Resources Research - Alkali–surfactant–polymer (ASP)-produced effluent contains polymer, alkali and surfactant, and it has higher content of suspended oil droplets and suspended...     

ASTER GDEM V2的南极冰川高程误差校正及精度分析

ASTER GDEM V2是研究南极冰盖表面的一种重要DEM数据源。由于南极冰雪区反射率高且缺乏地形特征,导致ASTER GDEM V2存在大量的坑、隆起等噪声,难以直接用于南极地形分析。本文以ICESat/GLAS激光点高程数据作为参考,采用修正等高线法对南极伯德（Byrd）冰川ASTER GDEM V2进行了误差校正,并将其与ICESat-1 DEM的垂直精度进行了对比分析。结果表明：ASTER GDEM V2的RMSE由校正前的26.56 m下降到校正后的18.77 m,远低于ICESat-1 DEM的RMSE（121.24 m）;校正后的ASTER GDEM V2高程精度受坡度影响较小,不存在明显的系统误差,而ICESat-1 DEM的高程精度受坡度的影响较大。本研究进一步通过地形剖面分析得到：校正前的ASTER GDEM V2噪声主要分布于高程较低、地形平坦的区域,通过修正等高线的方法可以有效去除这些噪声,去除噪声后的ASTER GDEM V2可作为研究伯德冰川理想的DEM数据源。