SOVAS: a scalable online visual analytic system for big climate data analysis

ABSTRACT

Big climate data offers great opportunities for scientific discovery but demands efficient and effective analytics to investigate unknown and complex patterns. Most existing online processing and analytics systems for climate studies only support fixed user interface with predefined functions. These systems are often not scalable to handle massive climate data that could easily accumulate terabytes daily. To address the major limitations of existing online systems for climate studies, this paper presents a scalable online visual analytic system, known as SOVAS, to balance both usability and flexibility. SOVAS, enabled by a set of key techniques, supports large-scale climate data analytics and knowledge discovery in a scalable and sharable environment. This research not only contributes to the community an efficient tool for analyzing big climate data but also contributes to the literature by providing valuable technical references for tackling spatiotemporal big data challenges.     

地理学时空数据分析方法

随着地理空间观测数据的多年积累,地球环境、社会和健康数据监测能力的增强,地理信息系统和计算机网络的发展,时空数据集大量生成,时空数据分析实践呈现快速增长。本文对此进行了分析和归纳,总结了时空数据分析的7类主要方法,包括：时空数据可视化,目的是通过视觉启发假设和选择分析模型;空间统计指标的时序分析,反映空间格局随时间变化;时空变化指标,体现时空变化的综合统计量;时空格局和异常探测,揭示时空过程的不变和变化部分;时空插值,以获得未抽样点的数值;时空回归,建立因变量和解释变量之间的统计关系;时空过程建模,建立时空过程的机理数学模型;时空演化树,利用空间数据重建时空演化路径。通过简述这些方法的基本原理、输入输出、适用条件以及软件实现,为时空数据分析提供工具和方法手段。     

多源地理大数据支撑下的地理事件建模与分析

地理事件作为描述地理过程的基本单元,逐渐成为地理信息科学（GIS）核心研究内容。由于受人类活动数据获取限制,GIS对地理事件的建模和分析主要关注事件所引起的地理空间要素变化及要素之间的相互影响与作用机制。然而,近年来随着基于位置服务数据（LBS）爆炸式的增长和人类活动大数据定量刻画手段的快速发展,地理事件对人类活动的影响以及公众对地理事件的网络参与度都引起了多个领域的广泛关注,对地理事件的时空认知、建模方法和分析框架提出了巨大的挑战。对此,本文首先深入分析了大数据时代地理事件的概念与分类体系;其次,基于地理事件的时空语义给出了基于图模型的事件数据建模,建立了事件本体及其次生或级联事件的“节点—边”表达结构,开展了事件自身时空演化及其前“因”后“果”的形式化描述;第三,从时空数据分析与挖掘的角度,给出了大数据时代地理事件建模与分析的整体框架,拟突破传统“地理实体空间”事件探测与分析方法的局限性,融合“虚拟空间”事件发现与传播模拟思路,实现多源地理大数据支撑下的面向地理事件的人类活动多尺度时空响应与区域差异分析;最后,本文以城市暴雨事件为例诠释了本文所提出的地理事件建模与分析方法,从城市和城市内部两个尺度进行了暴雨事件与人类活动的一致性响应及区域差异分析,得到了明确的结论,验证了前文分析框架的可行性与实用性。     

“大数据”热潮下人文地理学研究的再思考

伴随着移动通信技术的快速发展以及定位应用程序的普及,带有地理空间信息的数据成为"大数据"中的重要部分,为人文地理学研究的发展提供了新的机遇,也契合了人文地理学"计量转向"与"社会转向"的发展规律,以及人文地理学人本主义的发展趋势。但同时,人文地理学者也面临着数据决定论、数据分析方法准备不足以及数据自身缺陷所带来的危机与挑战。在"大数据"热潮下,无论是定量研究还是定性研究,"大数据"还是"小数据"的研究,都应当给予同样的重视,数据规模与数据的采集、分析和阐述并无很大的关联。并且,还需要警惕由于数据垄断可能带来研究的"数字鸿沟",并呼吁人文地理学研究在研究方法与内容等方面与其他学科进行更多的跨学科合作。     

大数据时代的空间交互分析方法和应用再论

空间交互是理解地表人文过程的重要基础,与空间依赖一起共同体现了地理空间的独特性、关联性以及对嵌入该空间的地理分布格局的影响,具有鲜明的时空属性,因此对于地理学研究具有重要意义。大数据为空间交互研究带来了新的机遇,能够使我们在不同时空尺度感知和观察空间交互模式并对其动态演化特征进行模拟和预测,从而为揭示人类活动规律及区域空间结构提供有力支持。本文在探讨空间交互与地理空间模式关系的基础上,描述了利用地理大数据感知空间交互的方式和定量模型,介绍了空间交互分析方法的研究进展及其在空间规划与交通、公共卫生、旅游等领域的应用情况,并就一些基本问题进行了讨论,以期为大数据支持下空间交互相关研究提供指导。     

大数据对人文—经济地理学研究的促进与局限

大数据技术的诞生不仅快速推动着社会的进步,而且也将科学研究不断引向新的高度。以人类社会经济活动为主要研究对象的人文—经济地理学与当前大数据建设和发展趋势具有高度一致性,大数据的发展对丰富和完善人文—经济地理学势必起到积极的推动作用,同时也对人文—经济地理学的学科思维和研究方法提出了新的挑战。梳理和分析了目前大数据在人文—经济地理学主要研究领域,包括城市内部空间研究、交通与消费行为、社会空间与社会网络研究中的最近进展,以及大数据对参与式研究和决策平台的作用。着重剖析了大数据对人文—经济地理学数据获取,研究思维与范式,研究内容、研究时空尺度与研究目标等方面的促进作用与存在问题,特别是由于大数据自身发展的不完善,在数据收集特别是数据属性方面还存在很大的局限,缺乏理论基础将会使得大数据与实际应用受到很大限制,同时,数据本身也不能替代研究者思维和决策过程。因此,人文—经济地理学者应该科学对待大数据所带来的机遇,弥补和丰富以往发展中的短板,即完善学科数据建设、建立大数据应用较为完善的研究方法体系,促进跨域数据整合和跨域研究,以及推进研究对象和研究目的的转变。     

时空大数据背景下并行数据处理分析挖掘的进展及趋势

随着互联网、物联网和云计算的高速发展,与时间、空间相关的数据呈现出“爆炸式”增长的趋势,时空大数据时代已经来临。时空大数据除具备大数据典型的“4V”特性外,还具备丰富的语义特征和时空动态关联特性,已经成为地理学者分析自然地理环境、感知人类社会活动规律的重要资源。然而在具体研究应用中,传统数据处理和分析方法已无法满足时空大数据高效存取、实时处理、智能挖掘的性能需求。因此,时空大数据与高性能计算/云计算融合是必然的发展趋势。在此背景下,本文首先从大数据的起源出发,回顾了大数据概念的发展历程,以及时空大数据的特有特征;然后分析了时空大数据研究应用产生的性能需求,总结了底层平台软硬件的发展现状;进而重点从时空大数据的存储管理、时空分析和领域挖掘3个角度对并行化现状进行了总结,阐述了其中存在的问题;最后指出了时空大数据研究发展趋势。     

Spatio-temporal evolution and influencing factors of geopolitical relations among Arctic countries based on news big data

Global warming has caused the Arctic Ocean ice cover to shrink. This endangers the environment but has made traversing the Arctic channel possible. Therefore, the strategic position of the Arctic has been significantly improved. As a near-Arctic country, China has formulated relevant policies that will be directly impacted by changes in the international relations between the eight Arctic countries(regions). A comprehensive and real-time analysis of the various characteristics of the Arctic geog...     

大数据时代中国气候变化科学数据共享服务的发展现状与趋势分析

随着气候变化研究的进一步深入,中国已经积累和发布了越来越多气候变化方面的数据,为深入系统的科学研究和科技创新提供了宝贵的数据资源.相关数据存量越来越大,存储类型越来越丰富,促使我们进入一个前所未有的大数据时代.大数据时代需要对海量数据进行挖掘和应用,必然离不开数据的开放和共享.本文首先对气候变化驱动因素科学数据、气候变...     

基于新闻大数据的北极地区地缘关系研究

随着全球气候变暖,北极地区海冰大面积消融,引发了严重环境问题,同时使得北极航道成为可能,北极地区的战略地位显著提升.作为近北极国家,北极地区国际关系变化对中国的北极政策有直接影响.全面实时地分析北极地区地缘关系及其变化特征,对中国制定北极地区的政治、经济、外交政策具有重要指导作用.海量全球实时开放数据库的出现以及大数据...     

Toward space-time buffering for spatiotemporal proximity analysis of movement data

Spatiotemporal proximity analysis to determine spatiotemporal proximal paths is a critical step for many movement analysis methods. However, few effective methods have been developed in the literature for spatiotemporal proximity analysis of movement data. Therefore, this study proposes a space-time-integrated approach for spatiotemporal proximal analysis considering space and time dimensions simultaneously. The proposed approach is based on space-time buffering, which is a natural extension of conventional spatial buffering operation to space and time dimensions. Given a space-time path and spatial tolerance, space-time buffering constructs a space-time region by continuously generating spatial buffers for any location along the space-time path. The constructed space-time region can delimit all space-time locations whose spatial distances to the target trajectory are less than a given tolerance. Five space-time overlapping operations based on this space-time buffering are proposed to retrieve all spatiotemporal proximal trajectories to the target space-time path, in terms of different spatiotemporal proximity metrics of space-time paths, such as Fréchet distance and longest common subsequence. The proposed approach is extended to analyze space-time paths constrained in road networks. The compressed linear reference technique is adopted to implement the proposed approach for spatiotemporal proximity analysis in large movement datasets. A case study using real-world movement data verifies that the proposed approach can efficiently retrieve spatiotemporal proximal paths constrained in road networks from a large movement database, and has significant computational advantage over conventional space-time separated approaches.     

中国城市网络关联与经济增长溢出效应——基于大数据与网络分析方法的研究

深化城市网络空间特征的认识,科学测度经济增长的溢出效应,对推进新时期区域协调发展具有重要意义。本文结合城市网络和网络外部性两种研究视角,基于网络分析和空间计量方法,使用互联网大数据构建信息网络、企业网络、人口网络三种流要素城市网络,对中国336个地级以上行政单元的网络空间异质性、经济增长溢出效应进行实证分析。研究发现：中国城市网络联系具有显著的空间异质性,呈现出“中心-外围”特点,形成全国范围和省域、城市群范围两种尺度下的空间结构,表现出兼具择优选择与地理邻近的复杂特征;网络关联下城市经济增长具有显著的正向和负向溢出效应,反映出网络外部性对区域经济增长的重要影响,对比实体空间溢出效应表现出地理邻近关系下的相似性,以及跨越省级边界的差异性;对于全国范围下的网络关联矩阵,使用对称化和标准化处理更为合适,表明省域和城市群是推进区域经济协调发展的重要载体。     

室内定位数据分析与应用研究进展

现代人文地理学的研究越来越多地关注人的时空行为,而获取个体在出行活动中的时空位置数据是研究人类时空行为的前提。受数据获取技术的限制,之前对时空行为的研究主要集中在室外空间。随着室内定位技术的出现和应用,这类研究由室外空间扩展至室内空间。室内定位技术和方法较多,但从数据的角度来看,根据数据获取中使用定位方法的不同,可将室内定位数据分为几何位置数据、指纹位置数据和符号位置数据3类。目前,基于室内定位数据的研究可以归结为以下4个方面,即：人在室内的时空分布、人在室内的移动模式、人在室内的行为习惯及属性推断、人与室内环境的交互作用。然而,总体上目前的研究还处于探索阶段,理论和方法体系尚未成熟。本文认为后续的研究中需要关注以下问题：①数据获取方面。相对于蓝牙、射频识别、红外等定位技术,“智能手机+WiFi”模式的定位系统具有覆盖范围广、成本低廉、无需专门设备支持、易与用户交互等优势,是一种最具应用前景的室内定位技术;②研究内容方面。时空行为特征的研究是基础,个体属性推断及个体与环境的相互作用形式和机理研究将是重点,多时空尺度数据融合分析是一种趋势;③科学伦理方面。室内定位涉及微观尺度人类活动的记录,隐私保护问题需要高度关注。     

“一带一路”若干区域社会发展态势大数据分析

“一带一路”倡议已成为中国的基本国际政策,及时掌握沿线国家的社会发展态势,对确保该倡议的稳步推进与顺利实施至关重要。为此,论文将GDELT数据库作为数据来源,获取了“一带一路”沿线25个国家近5 a的英文新闻全文数据,引入主题模型,结合无监督方法(LDA)与监督方法(Labeled LDA)挖掘新闻数据中蕴含的主题,构建社会稳定度模型,分析各国社会发展态势。研究发现：① 沿线国家社会发展态势不均衡,可划分为4类,即稳定型,如阿曼、越南等;较稳定型,如乌兹别克斯坦、伊朗等;较高风险型,如科威特、约旦、巴基斯坦、缅甸;高风险型,如叙利亚、阿富汗等。② 通过新闻主题时空挖掘,可有效发现热点区域,例如论文发现安集延对中亚地区社会发展与稳定具有重要影响。③ 利用监督主题模型,能够发现乌兹别克斯坦经济产业结构,识别出重大社会事件,发现其社会安全风险及变化趋势。采用论文方法可有效挖掘新闻事件时空变化规律,发现各国潜在风险,支撑对沿线国家社会发展态势的实时动态监控,为“一带一路”倡议的实施提供辅助决策支持,具有重要的应用价值。     

Visualization and analysis of local and distant population flows on the Qinghai-Tibet Plateau using crowd-sourced data

Human migration between cities is one important aspect of spatial interaction that not only reflects urban attractiveness but also denotes interactions amongst agglomerations.We therefore implemented a web-based visualization system to analyze and interactively explore local and distant population flow patterns between cities on the Qinghai-Tibet Plateau(QTP).We utilized 2017 Tencent population flow data from which we initially constructed inbound and outbound vectors for cities on the QTP.We then used multidimensional scaling to examine and visualize migration patterns and similarities between cities.Results reveal the presence of six local and three distant human mobility patterns on the QTP as well as aver-age summer monthly migrations more than twice the level of those in the winter.     

Mapping fine-scale population distributions at the building level by integrating multisource geospatial big data

Fine-scale population distribution data at the building level play an essential role in numerous fields, for example urban planning and disaster prevention. The rapid technological development of remote sensing (RS) and geographical information system (GIS) in recent decades has benefited numerous population distribution mapping studies. However, most of these studies focused on global population and environmental changes; few considered fine-scale population mapping at the local scale, largely because of a lack of reliable data and models. As geospatial big data booms, Internet-collected volunteered geographic information (VGI) can now be used to solve this problem. This article establishes a novel framework to map urban population distributions at the building scale by integrating multisource geospatial big data, which is essential for the fine-scale mapping of population distributions. First, Baidu points-of-interest (POIs) and real-time Tencent user densities (RTUD) are analyzed by using a random forest algorithm to down-scale the street-level population distribution to the grid level. Then, we design an effective iterative building-population gravity model to map population distributions at the building level. Meanwhile, we introduce a densely inhabited index (DII), generated by the proposed gravity model, which can be used to estimate the degree of residential crowding. According to a comparison with official community-level census data and the results of previous population mapping methods, our method exhibits the best accuracy (Pearson R = .8615, RMSE = 663.3250, p < .0001). The produced fine-scale population map can offer a more thorough understanding of inner city population distributions, which can thus help policy makers optimize the allocation of resources.     

A GPU-accelerated adaptive kernel density estimation approach for efficient point pattern analysis on spatial big data

Kernel density estimation (KDE) is a classic approach for spatial point pattern analysis. In many applications, KDE with spatially adaptive bandwidths (adaptive KDE) is preferred over KDE with an invariant bandwidth (fixed KDE). However, bandwidths determination for adaptive KDE is extremely computationally intensive, particularly for point pattern analysis tasks of large problem sizes. This computational challenge impedes the application of adaptive KDE to analyze large point data sets, which are common in this big data era. This article presents a graphics processing units (GPUs)-accelerated adaptive KDE algorithm for efficient spatial point pattern analysis on spatial big data. First, optimizations were designed to reduce the algorithmic complexity of the bandwidth determination algorithm for adaptive KDE. The massively parallel computing resources on GPU were then exploited to further speed up the optimized algorithm. Experimental results demonstrated that the proposed optimizations effectively improved the performance by a factor of tens. Compared to the sequential algorithm and an Open Multiprocessing (OpenMP)-based algorithm leveraging multiple central processing unit cores for adaptive KDE, the GPU-enabled algorithm accelerated point pattern analysis tasks by a factor of hundreds and tens, respectively. Additionally, the GPU-accelerated adaptive KDE algorithm scales reasonably well while increasing the size of data sets. Given the significant acceleration brought by the GPU-enabled adaptive KDE algorithm, point pattern analysis with the adaptive KDE approach on large point data sets can be performed efficiently. Point pattern analysis on spatial big data, computationally prohibitive with the sequential algorithm, can be conducted routinely with the GPU-accelerated algorithm. The GPU-accelerated adaptive KDE approach contributes to the geospatial computational toolbox that facilitates geographic knowledge discovery from spatial big data.     

基于大数据的流空间研究进展

流空间是认识城市网络结构和演化的重要手段。近年来大数据的快速发展为流空间研究提供了新的机遇和挑战。论文系统综述了基于大数据的流空间研究进展。首先,论文梳理了基于大数据流空间研究的背景和历史,然后总结了基于大数据的流空间研究的主题、数据类型、方法和主要发现,最后展望了未来的研究挑战。2011年以后,基于大数据的流空间研究呈指数增长趋势,中英文论文年均发表量从2010年的11篇增长到2018年的106篇。大数据主要从提供新的数据源、激发新的分析方法和提供新的研究视角三方面推进了流空间研究。常用于流空间研究的大数据主要包括手机信令数据、社交媒体签到数据、公共交通刷卡数据和出租车轨迹数据,它们比传统统计数据更能直接提供人流、物流和信息流的时空动态信息。研究方法也从传统的基于距离的重力模型发展为网络分析方法。未来在交叉学科研究、大数据和传统数据的耦合、大数据与深度学习和云计算等新方法的结合方面仍需进一步探索,从理论、数据和方法上全面深化流空间研究。     

北京市地铁客流的时空分布格局及特征——基于智能交通卡数据

城市轨道交通是居民绿色出行、缓解大城市交通拥堵的重要交通方式。研究大城市地铁客流时间和空间的分布特征,有利于深入了解大城市公共交通的需求,进而制定合理的交通需求管理政策。本文以北京市地铁为例,计算了431万条智能交通卡数据的出行时间和OD矩阵(Origin-Destination Matrix),研究其客流的时间和空间分布特征。研究发现：①全天、早高峰和晚高峰的出行时间分布符合Gamma分布,总体上离城市中心越远,平均出行时间越长;②从市辖区尺度和环路尺度分析,乘客流向和流量均呈现对称性;③从街道尺度来看,居民地铁出行强度的空间不均等性很强。     

城市轨道交通通勤与职住平衡状况的关系研究——基于大数据方法的北京实证分析

城市轨道交通网络的发展在提高居民通勤效率的同时也对其职住平衡状况产生了一定影响。论文以北京市206个轨道站点为例,基于高斯混合模型(Gaussian mixture model, GMM)和一卡通刷卡数据将轨道站点按职住功能进行分类,利用腾讯“宜出行”定位数据考察轨道站点周边的动态人口分布并计算就业居住比。研究发现：① 中心城区的职住状况明显优于中心城区以外区域;② 轨道交通线网末端区域的职住平衡程度较差,仅有少数成规模的高端服务产业集中分布的轨道站点周边形成了区域性就业中心;③ 部分就业-居住较为均衡的城郊地区仍存在一定的职住不匹配现象。随后,通过计算一卡通出进站比和“宜出行”职住比得到出进站均衡度和职住平衡度,利用广义自回归条件异方差(generalized autoregressive conditional heteroskedasticity, GARCH)模型对轨道交通通勤和职住平衡程度进行相关性分析,研究结果表明：① 出进站均衡度与职住平衡度具有非常显著的正向关系,即站点进出站人数越接近,站点周边区域的职住状况越好;② 典型就业地站点与站点周边区域的职住平衡程度显著正相关,而典型居住地站点与站点周边区域的职住状况存在显著的负相关性。这表明,人口稠密的聚居区无法带动同样数量就业岗位的产生,而完善的就业中心能够吸引一定数量的人口在附近居住;③ 轨道站点的区位条件与职住平衡状况存在一定正向关系;④ GMM能够对属性复杂模糊的轨道站点进行有效的聚类分析;⑤ 具有实时性强、精确度高、覆盖度广、获取难度低等优点的“宜出行”数据能够在微观空间尺度下弥补其他捕捉和分析实时人口时空分布特征方法的局限性。