一致性哈希算法在数据库集群上的拓展应用

在数据库集群的研究中,可扩展性是一个重要的性能指标.为实现在数据高速增长或部分集群服务器故障情况下,数据依然能够快速、可靠、安全的分布到新的集群服务器节点上的目的,就必须合理设置数据划分的策略.将Key-Value存储技术中使用的一致性哈希算法思想借鉴运用到并行分析型数据库集群中,提出针对大规模结构化类特殊数据的一致性哈希划分方法,并在MapReduce框架下设计具体的数据划分方案.最后,以TPC-DS作为测试基准,与同类系统进行性能对比测试,实验结果表明方案不仅有良好的划分性能,且扩展性也较好.     

可扩展的分布式矢量空间数据库集群原型系统研究

空间数据获取手段呈现多样化,其数据集每天以PB级的速度在增长,如何高性能地存储、高效处理海量空间数据成为重点问题。基于空间数据库集群系统,提出了Geohash的矢量空间数据分片存储方法,通过该分片方法实现了空间数据的并行导入、分布式矢量空间数据查询。通过实验分析了分布式矢量空间数据库在真实数据集以及虚拟数据集下的读写性能。实验表明:考虑空间分布特征的分布式空间数据库集群在空间查询性能和并发访问性能方面具有更好的扩展性。     

一种用于DEM数据认证与篡改定位的感知哈希算法

DEM数据作为重要的基础地理信息数据,其数据完整性问题不容忽视。基于DEM数据完整性认证的要求,以及相关认证算法的欠缺,本文运用感知哈希技术设计了一种DEM数据认证算法,并可实现篡改定位。因DEM数据具有数据量大、细节丰富的特点,首先对其进行规则格网划分,将其划分为互不重叠的格网单元;然后对格网单元数据进行DCT分解,提取数据的特征信息以生成特征向量矩阵,并对特征向量矩阵进行摘要化处理;随后,使用Logistic混沌系统对简化后的特征向量矩阵进行置乱;对置乱矩阵进行量化、编码后,便可生成感知哈希序列。在数据认证时,首先计算原始数据与待验证数据的高程相对中误差,再将二者的感知哈希序列进行归一化汉明距离度量,结合判定阈值,即可对DEM数据进行数据认证与篡改定位。该算法对DEM数据的格式转换、水印嵌入等攻击有较强的鲁棒性,对各类改变内容的操作具有敏感性,并可实现DEM数据微小篡改的识别与定位。与已有的DEM完整性认证方法相比,将DEM数据的"内容"作为完整性度量的重要标准,在具体应用中更具有实用价值。     

MySQL集群与MPI的并行空间分析系统设计与实验

 GIS应用正面对空间数据规模日益增加和空间分析算法复杂度逐渐提高的挑战,本文提出一种基于MySQL空间数据库集群与MPI的并行计算库分布式空间分析框架的解决方案。该框架使用MySQL空间数据库集群解决大量空间数据存储与管理问题,利用MySQL Spatial的Replication机制加强空间数据的冗余备份和并发访问控制,同时使用MPI负责分布式计算节点间的通信减少人工控制通信的开发成本。并行框架的任务管理与调度系统采用优先队列式管理,通过Master节点监控集群状态,合理分发计算任务实现负载均衡和容错。最后,以多边形Overlay算法为例,研究其在该并行空间分析系统下的并行策略,采用数据并行的管道流水线作业方式在框架中运行测试,结果表明,该并行框架相比串行算法可以得到可靠的加速比。     

模拟退火算法在流量矩阵估算中的应用研究

流量矩阵估计的高度病态特性,使得要精确地估计流量矩阵变得非常困难,传统的估算方法在面对一些具有空间相关性的流量时估算精度并不理想。为了提高流量矩阵的估算效率,利用Fratar模型的时空特性提出了基于Fratar模型的模拟退火算法。实验仿真证明估算方法得出的流量矩阵比传统的算法更加的接近真实值,优于传统的模拟退火算法。     

云计算集群系统负载均衡算法的熵判定值

分析云计算集群系统与热力学系统的内在相似性,建立云计算集群系统的物理模型.从熵及广义复杂度两方面入手,探讨云计算集群系统均衡负载问题与能量的关系,推出云计算集群系统达到均衡状态所消耗的基本能量值.基于基本能量值,进一步推出云计算集群系统均衡负载的算法复杂度熵判定值,为后期负载均衡算法的改进提供参考标准.     

多源30 m分辨率土地覆被数据在蒙古高原的一致性分析和精度评价

蒙古高原土地覆被的变化表征着区域内生态环境的变化,许多环境问题的研究依赖于准确的土地覆被信息。因此,评估当前全球土地覆被数据在区域尺度上的准确性非常重要。本文以蒙古高原为研究区,从构成相似性、类型混淆程度、空间一致性、绝对精度4个方面,分析了GlobeLand30、GLC＿FCS30和FROM＿GLC 3种30m高分辨率全球土地覆被数据的一致性和准确性。结果表明：(1) 3种土地覆被数据都显示,草地和裸地是蒙古高原的主要土地覆被类型,任意2种数据的面积序列相关系数都优于0.95;(2) 3种土地覆被数据中完全一致的区域占蒙古高原总面积的61.87%,主要集中在土地表面异质性低的区域;(3) GLC＿FCS30数据的总体精度（78.33%）最高,GlobeLand30数据的总体精度（76.85%）次之,FROM＿GLC数据的总体精度（75.86%）最低;林地、草地、水体和裸地在3种土地覆被数据中的精度较高（75%以上）,灌丛、湿地等地类的精度较低（50%以下）。因此,对蒙古高原土地覆被进行全要素研究时,可以综合考虑选择总体精度最高的GLC＿FCS30数据。对特定地类研究的用户,可参考3种...     

表分区技术在自动气象站数据存储中的应用

针对大数据量的自动气象站观测数据访问性能低和维护成本高的问题,通过利用SQL Server 2005表分区技术,选取观测时间字段作为分区依据列,分别创建文件组、分区函数和分区方案,建立分区表和分区索引,解决了自动气象站海量数据存储和高效访问的问题。实践表明采用水平方式表分区技术,能够显著提高用户对大型表读写性能和降低系统管理员对数据库表的维护成本,提高数据库系统运行效率。     

数据库连接池的构建及在JSP中的应用

分析了几种通过JDBC连接数据库的方法,说明使用数据库连接池的优越性,比较数据库连接池与传统的数据库连接的区别,同时实现了一个数据库连接池的创建以及对这个连接池的使用.     

基于Apriori降维的Logistic算法在中医疾病症状权重挖掘中的应用

分析中医疾病数据库,寻找有效可靠地算法挖掘疾病症状的权重,为医生临床诊断提供决策支持。以成都中医药大学附属医院的诊疗决策支持系统提供的中风数据、哮喘数据作为实验数据来源,首先对数据进行规范化预处理,再通过Apriori算法对数据降维,最后应用Logistic算法求出疾病症状权重。结果:挖掘结果与临床经验相符,算法运行时间也在可接受范围内。文章提出的方法对中医疾病症状权重进行挖掘是可行的。     

基于MPP架构的并行空间数据库原型系统的设计与实现

快速高效地查询信息是衡量当前空间数据库性能的重要指标之一。传统的单节点关系型空间数据管理方式难以满足大数据量空间数据查询的需求,特别是高性能的复杂空间多表连接任务需求。鉴此,本文设计并实现了基于Massive Parallel Processing（MPP）架构的并行空间数据库中间件原型系统。系统充分利用无共享（shared-nothing）架构的优势,特别是针对空间数据的特性,设计了并行空间数据划分与导入、并行空间多表连接、空间数据查询优化等算法与模型。首先介绍了近年来并行数据库系统的发展现状,接着阐述了基于MPP架构的并行空间数据库中间件系统的查询计划算法及其系统架构,最后作者对一些大规模数据量做查询实验及其查询结果分析。实验表明,在处理挖掘大规模数据量时,该系统有近似线性的加速比,相比于传统单节点数据库,它能充分提高海量空间数据的复杂查询的性能,解决了空间数据库并行化处理海量数据的问题。     

基于MapReduce的多机并行DP算法与实验分析

随着网络地图不断发展,个性化网络地图也得到快速发展。个性化网络地图需要以矢量数据为数据基础,以满足人们对地图色彩、符号等个性化要求,所以需要实时、快速进行大量数据化简。本文以经典Douglas-Peucker算法作为曲线化简算法,利用开源云计算平台Hadoop建立多机协作的曲线并行化简服务框架,设计和实现了多机并行Douglas-Peucker算法,并在集群上进行实验分析,验证算法的效率和适用性。算法核心是设计数据的逻辑分片,利用MapReduce计算原理,将分片分配到集群中,实现并行运算。实验分别分为两个方面:(1)比较在固定阈值不同数据量情况下,传统DP算法与多机并行DP算法效率;(2)比较在相同数据量不同阈值情况下,传统DP算法与多机并行DP算法效率。实验表明,在大数据量和高复杂度情况下,多机并行DP算法的效率更高。     

完全公平调度算法分析

Linux调度系统的调度算法几经改进,表现出优异的性能,特别是Linux最新的CFS调度算法。它的设计目的是使进程更加公平地共享处理器资源。在分析Linux2．6．28内核代码的基础上详细阐述了CFS调度算法的工作流程和主要特性,并从算法分析和Hacbench测试两个方面对O（1）和CFS调度算法的性能进行了对比。     

基于CUDA的IDW并行算法及其实验分析

近些年来,空间数据获取技术得到了迅猛的提高,例如LIDAR,通常可以产生成千上万个点,这对计算机的处理能力提出了挑战.最近,图形处理器(GPU)的计算能力得到了巨大的提升,致使GPU的通用计算引起了关注.GPU是流处理器的集合,最近的设备的流处理器超过240个,浮点峰值比CPU快10多倍.在GPU上编程和编译的环境称计...     

基于实时应用接口调度模型的扩展研究

针对实时应用接口（RTAI）的调度器是基于静态优先级调度,不支持动态调度的缺点,提出将单调速率调度算法（RM）和最小空闲时间优先调度算法（LLF）引入到RTAI调度器中,实现了静态优先级结合动态优先级调度的调度模型,扩展了RTAI调度器的实时性。最后对扩展调度器进行测试,验证了这种扩展策略是正确的。     

基于平行算法的非扩张映像的最小范数不动点

非扩张映像的不动点问题在近代数学分支中有着广泛的应用,针对这一情况,利用平行算法和最近点投影映射方法,构造一个关于有限多非扩张映像的迭代算法,并且在一定的条件下,证明所构造的迭代序列不仅收敛,而且收敛于这族有限多非扩张映像的公共最小范数不动点。     

图划分对Arc-flags算法的影响

最短路径计算作为导航的常用算法在移动互联网中扮演了重要角色,由于路网规模的增大和终端的不停移动,传统的串行最短路径算法已经无法满足实时性要求,因此预处理技术得到了广泛使用。Arc-flags是一个经典的基于预处理技术的最短路径算法,可以提供高效的在线最短路径查询服务。现有Arc-flags算法的研究主要集中在提升预处理时空效率和比较不同路网划分方式的优劣上,尚未见图划分对Arc-flags算法影响的深入研究。本文在真实路网上测试了不同的图划分数量和边界点数量等因素对Arc-flags算法的影响,主要包括预处理时间和空间的消耗、在线查询时间和搜索范围等方面,并根据实验结果和分析提出了合理的图划分建议（如选用好的图划分方法减少边界点数量等）,为改进和使用Arc-flags算法提供指导。