一致性哈希算法在数据库集群上的拓展应用

在数据库集群的研究中,可扩展性是一个重要的性能指标。为实现在数据高速增长或部分集群服务器故障情况下,数据依然能够快速、可靠、安全的分布到新的集群服务器节点上的目的,就必须合理设置数据划分的策略。将Key-Value存储技术中使用的一致性哈希算法思想借鉴运用到并行分析型数据库集群中,提出针对大规模结构化类特殊数据的一致性哈希划分方法,并在MapReduce框架下设计具体的数据划分方案。最后,以TPC-DS作为测试基准,与同类系统进行性能对比测试,实验结果表明方案不仅有良好的划分性能,且扩展性也较好。     

一致性哈希算法在数据库集群上的拓展应用

在数据库集群的研究中,可扩展性是一个重要的性能指标.为实现在数据高速增长或部分集群服务器故障情况下,数据依然能够快速、可靠、安全的分布到新的集群服务器节点上的目的,就必须合理设置数据划分的策略.将Key-Value存储技术中使用的一致性哈希算法思想借鉴运用到并行分析型数据库集群中,提出针对大规模结构化类特殊数据的一致性哈希划分方法,并在MapReduce框架下设计具体的数据划分方案.最后,以TPC-DS作为测试基准,与同类系统进行性能对比测试,实验结果表明方案不仅有良好的划分性能,且扩展性也较好.     

利用MPI实现多幅点云ICP并行配准

迭代最近点算法（ICP）是一种用于点云精确配准的经典算法。针对多幅点云进行ICP配准存在耗时多、效率低的问题,本文利用消息传递接口MPI对多幅点云进行分批并行配准。首先并行求解相邻两幅点云的相邻变换矩阵,然后计算每幅点云在当前批次的局部变换矩阵,最后获得每幅点云的全局变换矩阵。本文以DELL PowerEdge R730服务器为计算平台,对空间点总规模达四千多万的65幅点云进行了分批并行配准。试验结果表明：利用MPI对多幅点云进行分批处理可显著加快配准速度,最优进程数为计算机的核数时,加速比为5.3。     

基于Web的地下管网溯源分析算法研究

利用.NetCore的并行运算机制,实现基于Web的高性能地下管网的溯源分析功能。实践证明当某点管网数据监测出现异常时,能够快速分析所有可能流经该点源头管网信息,并在地图上动态展示分析结果,达到快速定位查询管网源头的区域管理目的。     

基于GIS的土地储备业务管理系统的研究与实现

土地是支撑城市社会经济发展和基础设施建设的空间基础,作为自然物的土地具有价值属性。土地储备涉及市土地开发中心前期部、征地部、出让部、工程部、合同部、计财部等内部职能部门,涉及测绘、规划、房管、农业、城市更新、发改、人民政府等外部单位,交互业务较多,因此土地的规划、审批、征收、出让、工程等流程复杂、管理困难。本文介绍了土地储备业务管理系统的实现思路,系统实现建立业务审批体系。规范资金使用和管理,达到海量数据高效处理、图属档一体化、实时信息在线共享、流程优化协同办理、短信督办提醒的目标,满足对土地储备情况的宏观监管和微观审批,形成完善的土地储备业务管理体系。     

大型GNSS观测网的并行计算

CGCS2000精化及其全球拓展需要采用最新的模型,处理长期积累的大型GNSS观测网数据,大型GNSS网联合、快速和协同解算是空间基准精化、维持与服务的重要技术方向。在大数据技术背景下,以并行计算、云计算为代表的高性能计算技术逐渐成为大规模数据处理的首选方法。针对海量、多源、异构GNSS数据在解算处理与平差分析等方面面临的挑战,阐述了大型GNSS观测网质量控制并行计算、非差模型并行解算、双差模型并行解算、高维模糊度并行搜索固定等方法。介绍了可同时处理上千个观测站的大型GNSS观测网并行计算软件GNSSer,开展了CGCS2000精化计算的试验与验证。构建了一套适合并行计算的大型GNSS观测网解算方法,实现了CGCS2000精化及其全球拓展的多节点协同并行计算的创新。     

纯球坐标系内各项重力校正值计算方案和计算过程

在国内,首次阐述了"纯球坐标系内各项重力校正值的计算方案和计算过程"。该计算方案有如下优点:①以观测点P为中心,以球面距离am=am-1+Δa.bm-1(m=2,3,…,M)为半径将计算区划分为M个环带,再以Δλ0为由P点出发射线的角度间隔将所有环带等分为N(整数)份的计算区划分方案是最严密拼接,因而校正值的计算精度相当高。②在地形复杂和相对高差大的情况下,通过减小Δa、b和Δλ0数值,可进一步提高计算精度。③可以直接采用带有经、纬度坐标的高程数据,进行大面积测区的各项重力校正值计算,而不受6°带和标准图幅限制。     

煤储层渗透率动态预测模型适用性评价

基于比较理论推导建立的4个煤层渗透率计算模型,对我国煤层气盆地已有物性参数进行计算,以预测其煤储层渗透率。将模型预测结果与现场试井渗透率数据进行对比分析,得出了4个模型的预测精度,在此基础上研究了煤储层渗透率动态预测模型对我国煤层气部分区块的适用性。计算结果表明:在煤层气开发后期,汪-张模型的适用性较好,预测结果与现场数据基本一致,对煤层气开采有一定指导意义。     

宁夏红石湾煤矿涌水量评价

在分析红石湾煤矿区地质及水文地质条件的基础上,对矿井的充水因素进行了论述,认为区内的古近系孔隙水含水层分布广,厚度大,富水性较强,但由于其距首采区的主采煤层(三煤)较远,导水裂隙带的最大破坏高度尚未达到该含水层,且其间有近20m厚的隔水层,所以该含水层对煤矿开采影响较小;影响区内煤矿涌水量的主要含水层为二叠系石盒子组砂岩含水层和山西—太原组砂岩含水层。采用富水系数比拟法、狭长水平巷道水动力学法、大井法对煤矿涌水量进行了计算,通过对各种计算方法适应性的评述及计算结果的对比,最后选用狭长水平巷道水动力学计算结果作为矿井正常涌水量,大井法计算结果作为矿井的最大涌水量。     

结合MapReduce和HBase的遥感图像并行分布式查询

提出了一种可扩展的遥感图像多维度并行查询模式,即利用MapReduce实现海量图像数据金字塔的并行构建,利用HBase实现图像的分布式检索,设计和实现了单张遥感图像金字塔的并行构建方法和图像索引系统。实验结果表明,随着Hadoop和HBase集群的增长,图像数据的导入和检索速度得到明显提升。