网络数据流分析方法

介绍网络数据流中最主要的数据流挖掘技术.     

基于灰关联的k匿名数据流隐私保护算法

与静态数据不同,数据流具有潜在无限、快速到达、变化频繁等特点,使得数据流隐私保护面临问题.在保证匿名要求的前提下,从降低信息损失和节约计算时间角度,提出一种基于灰关联的数据流隐私保护匿名算法(DSAoGRA),采用灰色关联度描述元组间的相似度,将元组划分成k匿名簇,实现数据流的k匿名化.数据实验结果表明,该算法在满足匿名要求的同时,比CASTLE算法具有较低的信息损失和较少的计算时间.     

露天矿GPS卡车调度系统数据流处理方法

露天矿GPS卡车调度系统是数字矿山建设中的重要组成部分,是露天矿生产管理利用GPS/GIS技术提高生产效益的有效途径之一.本文根据露天矿GPS卡车调度系统的组成、工作原理和数据流交换模式,提出了基于数据回放条件下的装卸车时序匹配计算方法以及数据流处理的主要内容.抚顺西露天矿的实践证明,该计算方法是一种处理卡车调度系统数据流的有效且可行的办法.     

基于出租车上下客数据流与分布式多阶段网格聚类的城市热点区域实时探测方法

城市热点区域的实时探测能够提高管理者对突发事件的响应能力。随着物联网、通信技术的发展，出租车运单的起讫信息实时上传至数据中心，形成了持续的上下客数据流。考虑到出租车具有全天候运营、全区域覆盖、数据时空分辨率高等特点，其上下客数据流可作为城市热点区域实时探测的有效信息源。目前，面向静态上下客数据集的热点区域探测方法不支持流式数据的处理，难以直接应用于实时的热点区域探测，而现有流式聚类算法难以同时满足低聚合成本、任意形状类簇识别、灵活扩展性等要求。面对以上挑战，本文基于分布式流计算技术，设计了适用于出租车上下客数据流的城市热点区域探测算法，基本思想为将上下客数据流映射至网格状监控单元，并以时间窗口为单位统计各监控单元热度，在此基础上进行热点单元的分布式识别，最终将热点单元汇聚为热点区域。为了避免分布式算法中聚合算子的性能瓶颈，本文进一步设计了由冗余分区、链接识别、修正规则构建、区域ID修正、区域生成等步骤组成的多阶段分布式区域合并算法。最后，本文基于分布式流计算框架Flink实现了上述算法，并使用武汉市出租车数据集、纽约市出租车上下客数据集模拟数据流开展实验，结果表明本算法可以高效挖掘城市...     

基于SSR信息的GPS实时精密单点定位性能分析

连续接收10 d CNES实时播发的以状态空间表示的数据流信息,数据流的完整性可达91.769%;结合卫星广播星历实时恢复精密卫星轨道与钟差得出,CNES播发的实时数据流轨道三维位置精度优于4.5 cm,钟差精度优于0.09 ns。用得到的卫星轨道和钟差对10个IGS测站10 d观测数据进行精密单点定位解算,得出基于SSR信息的RTPPP可以实现23 min收敛到10 cm精度的定位性能,单天解三维点位精度优于3 cm。     

基于Web气象技术装备管理与查询系统设计

分析了基于Web方式设计气象技术装备管理与查询系统的重要意义,详细阐述实用型气象装备管理系统的设计方案.利用现有网络资源,构建基于3层B/S体系结构下的气象技术装备管理与查询系统的总体结构,详细介绍系统开发技术及主要功能模块.通过创建动态交互式web服务器应用软件访问和操作相关SQL数据库,完成气象技术装备的管理(数据录入、查询、修改和统计分析等),从而实现对各类气象设备采购入库、计量检定、使用、回收到报废的全程跟踪管理.     

MAPGIS土地利用数据库管理系统在土地利用数据库建设、管理中的应用

MAPGIS土地利用数据库管理系统是以MAPGIS为基础平台,面向县(市)级土地管理部门的系统软件.它包括MAPGIS地理信息系统平台、MAPGIS图形编辑、MAPGIS属性管理和土地利用数据库管理系统.MAPGIS是集数字制图和数据库管理为一体的空间信息系统,利用MAPGIS图形编辑强大的图层功能,可以方便、高效地进行基础数据的采集,它的数据库管理和空间分析查询检索、统计、分析、输出功能,为土地利用数据库的建设提供了强大的技术支持,本文结合MAPGIS土地利用数据库管理系统的特点和土地利用数据库建设、管理的要求,介绍了MAPGIS土地利用数据库管理系统在土地利用数据库建设和管理中的应用.     

数字栅格地图管理系统的建立

利用MapInfo和VB相结合的方法,设计实现了一个省级数字栅格地图的管理系统,能够对数据、元数据进行集成管理,并实现部分查询、输出等功能,具有一定的特点和实用性。     

区分服务链路中确保型数据流的性能分析

在区分服务(Differentiated services,DiffServ)体系结构中,确保型AF(Assured Forwarding)是一种根据相对带宽可用性和数据流丢弃特性定义的PHB(Per-Hop-Behavior).讨论了区分服务链路中AF组数据流在EF(Ex-peeIited Forwarding)组数据流影响下的带宽变化,以及网络节点对AF组数据流采用的WRED(weighted random early detecticm)缓存管理机制,提出一类基于随机环境且带有WRED缓存管理机制的排队模型.通过矩阵分析的方法得出稳态队长分布,并给出了平均队长、数据包丢失率,拥塞概率等性能指标,并结合数值例子验证了所提出排队模型的可行性.     

制约县级土地利用数据库综合运用的因素及解决办法——从综合运用的角度谈新一轮土地利用数据库及其管理系统建设

1:1万农村土地利用数据库建设是第二次全国土地调查的重要内容,也是实现国土资源管理信息化的重要基础.数据库及其管理系统具有数据处理、日常更新、查询检索、汇总统计、打印输出、空间分析、动态监测等功能,在改变传统的土地管理方式、提高土地管理效率、服务国土资源管理和经济社会发展方面发挥了重要作用.     

联机分析处理中的实物化方法

提高OLAP查询的性能是数据仓库技术领域的关键性问题。数据仓库建立在通用的数据库系统基础之上时，利用实物化视图实现OLAP查询成为一种切实可行的方案。讨论了在数据仓库以星型模式来组织数据时，如何利用实物化视图来改写OLAP查询语句，从而提高查询效率的方法，并给出了当有多个实物化视图可供选择时的优化选择方法。     

基于Storm的地理编码引擎

近年来,随着Web 2.0和具有位置感知能力的移动计算设备的普及应用,带来了大量含有时空语义的地理大数据。在这个背景下,以地图厂商人工方式和半自动方式更新地名地址库为基础的传统地理编码服务,已难以满足新的应用需求。本文提出一种地理大数据驱动的自适应地理编码引擎的构建思路和方法,通过引入实时计算和流式计算平台Storm,实现对网络中的多源地理大数据的爬取与实时处理,加速地名地址库及相关资源的生成与更新过程,并给出了相适应的地理编码匹配方法。在实时流式计算框架基础上,通过JTS Topology Suite实现流式并行的空间操作,设计并实现了基于Storm的地理编码引擎原型系统,满足多源地理大数据的高效处理和地理编码要求。实验结果表明,该引擎通过实时流式处理可加速地址库的扩充与更新过程,并且利用地址库持续更新的方法,提升了地理编码的匹配率和定位准确度。     

空间数据访问集成与分布式空间数据源对象查询

目前,针对空间数据库的访问与处理方法,无法满足分布式环境下异构数据源的服务化存取和面向空间数据源的对象查询处理需求。本文给出了数据网格环境下的分布式空间数据访问与查询的方法和实现,并在服务化查询处理过程中,嵌入符合SQL/MM查询规范的空间拓展函数,实现分布式空间数据对象查询和嵌入查询过程中的空间数据分析处理。在此基础上,给出空间数据对象查询树的构造过程,以及分布式空间查询工作流的执行流程。数据访问与集成策略在空间数据处理上的应用,对异构空间数据源协同处理等,涉及大规模空间数据存取访问的应用需求,有很好的理论和实际应用价值。     

基于RTP的矢量数据流式传输研究

针对WebGIS中大规模矢量数据的网络传输问题,提出采用流式传输方式分批次向客户端传输所需数据,从而达到矢量数据在线实时应用的目的。通过研究流式传输机制,建立了适应于矢量数据流式传输的服务框架;按照流式传输的要求,对矢量数据进行分块组织,保证每个批次的要素作为独立的单元传输并在客户端处理;在传输过程中,实时传输协议实现了矢量数据流式传输机制,并参照流媒体文件“边传边播”的模式,设计了矢量数据的封包和解包算法。该方法实现了矢量数据的发送和接收,达到了多次往复传输的目标,且能通过差错控制和压缩加密等手段提高数据传输效率、保证数据传输质量和安全。实验证明,矢量数据的流式传输能降低约一半的数据传输量,有效地提高了传输效率,降低了系统响应时间。     

基于DONet模型的视频直播系统

分析现有P2P流媒体系统存在的问题,以及研究DONet系统控制和数据传输两方面主要技术的基础上,设计并实现了一个基于DONet模型的P2P流媒体在线直播系统PP-Video。该系统通过在局域网中的运行测试,表明PP-Video有较高的稳定性,并且有很好的吞吐量。     

基于Shark/Spark的分布式空间数据分析框架

随着空间数据的与日俱增,传统依托于单节点的空间数据管理方法,已难以满足海量数据高并发的需求。云计算的兴起带来机遇与挑战,分布式技术与数据库技术的优势互补,为云计算下高效的数据管理提供了可能。本文提出一种在分布式计算引擎（Shark/Spark）中集合之关键技术（包括空间数据映射、空间数据加载、数据备份及空间查询等）,将空间数据库对空间数据的高效存储、索引及查询优势与分布式计算引擎对复杂计算的优势相结合,实现一种基于Shark/Spark的分布式空间数据分析框架。在具体实现中,通过空间自定义函数和空间函数下推2种方式实现空间查询,结果表明,影响返回结果数据量的空间查询更适合下推给空间数据库完成,而不影响返回结果数据量的空间查询,利用分布式计算引擎直接运算更有优势。同时,通过与现有的一种分布式GIS方案（ArcGIS on Hadoop）对比发现,空间数据库的空间索引可有效提高查询效率,空间数据管理也更加独立。     

支持时空耦合计算的HTM-ST日地空间系统数据组织模型

数据组织模型是对科学数据进行有效管理、共享与应用的基础。日地空间物理学科通常采用基于语义标注的传统数据组织模型,但是该模型忽略了数据间的时空关系,难以支持大规模数据处理与关联分析,应建立一种支持时空计算的数据组织模型,从而有效支持当前日地空间物理领域对数据快速发现、精细结构识别、耦合关系研究与时空演化分析等方面的应用需求。鉴于此,本文提出了HTM-ST离散化时空数据组织模型,该模型在层次三角网格的基础上,在时间维度通过等长剖分进行扩展,从而形成离散化的时空剖分,采用时-空耦合编码将高维的剖分单元组织到一维空间中,并基于上述剖分结构与编码算法在HBase环境下设计了模型的存储方案。本文利用多颗极轨卫星的能量粒子探测数据实现了该数据组织模型的原型示范系统,并设计了基于该模型的时空查询算法和地方时全球数据插值算法,用于对该模型进行实验验证。实验分析表明,HTM-ST模型具有高效性和鲁棒性,可以作为面向时空关系的日地空间物理数据组织与存储基础。     

基于ARMA模型的地磁偏角缺数处理方法

针对地震仪器记录的地磁数据存在单点缺失和连续多点缺失而不利于地震数据处理和地震预报的问题,同时为了快速处理非震异常值,本文提出将时间序列自回归移动平均（ARMA）预测模型用于地磁数据插值处理,并与均值插值、线性插值进行对比分析。结果表明,均值插值、线性插值和 ARMA 模型单点缺失的平均标准误差分别为 0.110 2、0.006 9 和 0.000 1,连续多点缺失的平均标准误差分别为 0.258 23、0.194 2 和 0.004 86,说明 ARMA 模型在单点缺失和连续多点缺失时均具有较低标准误差,且能很好地保持实际观测序列的曲线形态,插值效果较好,有望成为地磁数据序列处理的一种新方法。