Hadoop环境下基于SparkSQL海量自动站数据查询统计初探

在Hadoop分布式计算和存储架构下,自定义ETL数据清洗规则将海量自动站小时单站文件按所属年和站号合并为大文件流转存储至HDFS中,并运用SparkSQL并行计算框架进行统计处理生成常用气象要素日统计值。结果表明,数据处理和获取时效较关系型数据库方式有显著提升。采用SparkSQL并行计算框架对多气象要素多站点和长时间序列进行数据统计处理查询均能达到秒级别响应,并随着统计站点数的不断增加和时间跨度的延长其优势更为明显,能更高效地支撑此类气象数据服务,为海量气象数据处理从关系型数据库到大数据分布式架构的转换处理提供了新思路。     

全球重大疫情对经济系统的影响及其响应的比较研究

新型冠状病毒疫情扩散范围广、感染人数多,被世界卫生组织列为“国际公共卫生紧急事件”。以2003年中国非典型肺炎、2009年墨西哥甲型H1N1流感、2015年韩国中东呼吸道综合症和截至目前的2020年全球新冠疫情作为典型案例,比较全球重大疫情的经济影响与各地的响应措施,有助于积极探索更好地应对本次新冠疫情经济影响的政策响应途径。在历次疫情影响下,中国、墨西哥、韩国、美国等国家的经济系统都受到了突发疫情的重大影响。2003年中国第二季度GDP增速环比降低1.98%,交通运输、住宿、餐饮等第三产业首当其冲;墨西哥2009年GDP增长率降至-5.286%,旅游、零售餐饮与猪肉行业受到较大冲击;韩国2015年GDP增速由2014年的3.3%降至2.79%,旅游业与零售业的市场需求受到极大抑制;美国2020年第二季度实际GDP按年率计算下滑32.9%,是自1947年以来的最大降幅。为此,各国政府积极响应和应对,多策并举减轻疫情对经济系统的短期冲击：一是通过设立专项资金、增加财政预算,全面支持经济复苏;二是通过为企业提供经营补贴、延缓税收缴纳等举措,减轻企业尤其中小企业的经营负担;三是通过电商平台、城市宣传、简化签证手续等举措,振兴旅游业和商业发展。为了更好地应对此次新型冠状病毒疫情对经济系统的影响,各国应当统筹疫情防控与经济发展,积极采取减费降税、减少企业负担、扶持第三产业等响应举措,尽快恢复正常的世界经济秩序。     

民用InSAR地形测绘卫星工程关键技术

InSAR地形测绘是SAR卫星最为典型的应用任务之一。SRTM与TanDEM-X卫星分别开创了10 m精度以及4 m精度的全球DSM先河。L波段差分干涉SAR(L-Band Differential Interferometric SAR,L-SAR)卫星是我国第一组L波段干涉SAR编队卫星系统,卫星可完成1∶5万比例尺地形图测绘任务。随着L-SAR卫星的示范效应逐步扩展,国产小卫星也逐步跟进,以高景二号和宏图一号代表的小卫星开启了小卫星测绘先河。本文从卫星工程的角度,阐述了SRTM、TanDEM-X以及L-SAR卫星的关键技术,较为全面地介绍了当前SAR卫星的发展状况,有助于理解卫星工程的层次性特点,并讨论SAR卫星的未来趋势,为面向行业应用的卫星研制提供参考。     

1976-2016年青藏高原地区通达性空间格局演变

青藏高原地区是地球上最独特的地理—生态—人口—交通单元,区域内交通网络的发展特征及规律是人地关系协同发展的一个重要切入点,对青藏高原地区交通网络开展研究具有重要意义。据此,分析1976-2016年青藏高原地区交通网络演化特征,并以省会、地级市、县级市和县城为节点,采用网络分析的时间距离计算模型探讨其通达性演变过程。研究表明：① 青藏高原地区交通网络复杂性、区域连通性增强,初步形成格状交通网络;② 青藏高原地区中心城市、县城之间的平均最短通达时间已极大缩短至11.89 h、18.84 h,呈自东向西逐渐增大的空间格局,时空收敛效应显著,通达性变化程度与其初始值有关;③ 中心城市为该地区的发展极,其与周围城市通达状况有极大提高,可达时间平均值下降到16.49 h;④ 中心城市和县城交通圈演变过程一致,青藏高原地区各地到最近城市、县城的通达时间不断缩小,沿重要交通干线已形成中心城市4 h、县城2 h短时交通圈连片分布格局,湟水河谷地、一江两河地区逐渐形成交通廊道,乡镇对外交通联系得到改善。     

长三角地区民宿的空间分布及影响因素

近年来,民宿作为旅游业发展的新兴模式,日益受到关注,并呈现蓬勃发展状态。以民宿业发展最为成熟的长三角地区为研究对象,基于去哪儿网相关民宿数据,采用空间最邻近分析、密度分析等空间分析方法,研究民宿的空间分布格局与特征,并基于逐步回归分析,探讨影响民宿分布的因素,得出以下结论：① 长三角地区民宿呈现高度集聚的状态,整体上表现为多核心分布,并形成一、二、三级组团,密度由核心向外围递减。② 民宿集聚分布在经济较为发达的城市和核心景区周边,具有明显的中心性。③ 基于对经济基本状况、交通状况、人口条件、居民消费能力、旅游市场状况、旅游资源与环境条件等方面共15个影响因素分析,发现单位面积旅游收入、A级景区数量、人口密度、地区国内生产总值四个指标对民宿密度有显著正向影响,其中,影响力单位面积旅游收入>A级景区数量>人口密度>地区国内生产总值。     

浅谈云南保山市金厂河铜锌矿地质特征及地球物理特征

文章通过对保山市金厂河铜矿进行地质、地球物理特征等方面分析,认为该地区铅锌多金属矿地球物理特征明显,文章仅对该矿床具体情况做出分析,总结其特点。希望为今后该地区寻找铜多金属矿提供指导。     

一种新的海洋经济微藻——粉核油球藻

以Pinguiococcuspyrenoidosus CCMP 2004为实验藻种,研究分析了藻粉的基本生化组成和培养周期中PUFAs组成与含量的动态变化.结果表明,该藻的蛋白质量分数为37.54%,粗脂肪为27.45%,其中PUFAs包括18:2,18:3,18:4,20:4(AA,Arachidonic acid),20:5(EPA,Eicosapentaenoic acid),22:4(DTA,Docosatetraenoic acid)和22:6(DHA,Docosahexaenoic acid).该藻PUFAs的组成特征是EPA含量高,质量分数为20.93%,其他不饱和脂肪酸(16 : 3,16:4,18:3和18 : 4)的含量极微.分析结果显示粉核油球藻的营养价值较高,是一种新的具有商业化开发潜力的海洋微藻.     

东北季风期海南岛三亚湾初级生产力分布特征及其影响因素

根据2006年10月和2007年1月的监测资料,对三亚湾在东北季风初始期和盛行期初级生产力的分布特征及其受水体环境的影响因素进行了分析。三亚湾秋、冬季表层潜在初级生产力平均值分别为6.81mgC·m-3·h-1和7.47mgC·m-3·h-1;水柱初级生产力平均值分别为504.96mgC·m-2·d-1和495.33mgC·m-2·d-1。东北季风期间,三亚湾水体垂直混合作用加强,层化现象减弱,水动力过程和营养盐等环境因子是该海湾初级生产力分布特征和季节变化的重要调控因素;其中冬季较高的DIN分布对表层初级生产力有潜在促进作用,而水体扰动增强、真光层深度下降则导致水柱初级生产力低于秋季。三亚河口近岸水域秋、冬季均为营养盐、叶绿素a及初级生产力的高值区,其中表层潜在初级生产力在秋季和冬季分别达到了45.80mgC·m-3·h-1和39.27mgC·m-3·h-1,表明调查期间三亚河营养盐输入对近岸水体浮游植物初级生产过程的显著影响。     

2004年秋季南海北部浮游植物组成及其数量分布特征

根据2004年9月18日—10月2日南海北部航次所获得的表层浮游植物群数据, 对其组成及数量分布进行了探讨分析。该次调查鉴定浮游植物共53属152种(含变种和变型), 分别属于硅藻门35属88种、甲藻门15属60种、蓝藻门1属2种及金藻门1属1种等; 优势种中分布较广泛的有柔弱伪菱形藻Pseudo-nitzschia delicatissima、反曲原甲藻Prorocentrum sigmoides、微小原甲藻P. mininum、锥状施克里普藻Scrippsiella trochoidea和红海束毛藻Trichodesmium erythraeum等; 浮游植物细胞丰度的数量范围为(0.11—23.61)×106cells•m-3, 呈现近岸区域高于远岸区域的平面分布格局, 最大值和最小值分别出现在海南岛东北部海域的E506站和海南岛东南部海域的B3站; 浮游植物物种丰富度也是近岸的站点较高, 以靠近珠江口E708站的51种为最多。硅藻类细胞丰度范围为(0.02—8.13)×106cells•m-3, 主要分布在高盐的外海水域, 其中产二甲基磺酸丙酯(DMSP)的小环藻Cyclotella spp.在多个站点出现; 甲藻类以近岸水域居多, 细胞丰度最高达15.67×106cells•m-3(E506站), 其中数量较多的赤潮种类主要有锥状施克里普藻、反曲原甲藻、微小原甲藻、环沟藻Gyrodinium spp.等; 固氮的红海束毛藻在调查海域广泛分布, 但主要集中于东部, 以E206站最多, 高达1.8×107cells•m-3。结合水文资料和其他层次的浮游植物资料进行对比分析, 结果表明, 红海束毛藻的分布与黑潮水的入侵存在一定关系, 其分布受水团和海流的影响。     

山东半岛南部近岸海域渔业资源群落结构的季节变化

根据2006年夏、冬季和2007年春、秋季在山东半岛南部近岸海域进行的渔业资源底拖网调杏资料,初步分析了该海域渔业资源群落结构特征.结果表明,该海域4个航次的调查共捕获渔业资源种类72种.2006年夏、冬,2007年春、秋4个航次的单化网次渔获量分别为18.1、6.9、1.3、10.3 kg/h.生物量的季节变化,依次呈夏季>冬季>秋季>春季.优势种类主要为赤鼻棱鲲(Thryssa kammalensis)、长蛇鲻(Saurida elongate)、方氏云鳚(Enedrias fangi)及口虾蛄(Oratosquilla orato-ria)、剑尖枪乌贼(Loligo edulis)、鹰爪虾(Rachypenaeus curvirostris)等.根据4个航次的调查数据,分别计算了渔业生物群落的种类丰度指数R、Shannon-Wiener多样性指数H'、Pielou均匀度指数J'.通过聚类分析、单因子相似性分析(ANOSIM)、相似性百分比分析(SIMPER),以及对该海域游泳动物资源结构现状与历史调查数据对比分析表明,该海域渔业资源群落结构存在衰退现象.本研究为山东半岛南部海域渔业生物多样性保护和资源管理提供了参考依据.