相关观测抗差估计方案的比较分析

针对相关观测,基于敏感度分析的角度,利用学生化局部敏感度指标,并以此来确定抗差估计等价权。与此同时,将基于学生化残差确定等价权的抗差估计从独立观测推广到相关观测。最后将由t统计量和τ统计量确定等价权函数的抗差估计进行了Monte Carlo模拟比较分析。结果表明,基于学生化残差的抗差估计方案基本不具有抵御粗差影响的能力;而利用学生化局部敏感度指标的抗差估计能够有效抵御粗差的影响,但不稳定。这说明其在特定情形并不具有较强的抗差功效。     

判断观测值粗差能否发现和定位的一种验前方法

由于最小二乘(LS)残差统计相关，使得粗差发现和定位关系变得相当复杂，且至今未见有效的理论和方法。作者依据在LS平差前进行粗差发现和定位的思路，有意避开LS残差统计相关的难题，从条件平差模型推导出粗差判断方程(GEJE)Vr＝JVt Wc建立起以上式判断矩阵J为基础的粗差发现和定位的判断准则：1．不能发现含有粗差的观测量；2．能发现含有粗差但不能定位粗差的观测量。通过算例的检验，证明了判断矩阵J与控制网中观测量数据结构的对应关系，同时说明粗差不能定位的观测量，再好的粗差检测方法也无法正确定位粗差。     

基于等效残差积探测粗差的方差-协方差分量估计

已有方差-协方差分量估计(VCE)的粗差探测是对残差检验,而VCE的本质是利用残差的二阶量来估计它的二阶中心矩,因此更合理的方法应该对残差二阶量检验.由最小二乘残差估值导出了一组服从标准正态分布的等效残差;然后从等效残差的VCE基本方程出发,分别采用χ2统计量和正态积Np统计量检验等效残差的平方及其乘积.结果表明,采用...     

最小二乘法和抗差法平差中的粗差检测和数据探测

在一组观测量中，进行平差和检测粗差存在的方法有许多，多数这样的方法包括检验平差结果中那些在某种意义上“较大”的残差。在数据探测中，每个残差除春均方很差，得到分布统计量。这样粗差探测就成为一个统计学假说的检验问题，在重复进行的数据探测，每次只将带有最大的标准化残差的观测值除去。残差可能来自惯用的最小二乘ＬＳ平左或得自Ｌ１范数平差，后种平差是寻求所有残差绝对值最小和的方法，使用ＬＳ残差的重复数据探测至     

L1范估计的巴尔达型检验及其可靠性

根据残差与真误差的Bahadur型关系,L1范估计中, 粗差几乎完全反映到相应的残差上,这就是L1范估计能正确定位粗差的原因.对L2范估计,粗差只是部分地反应到相应残差上,由此会导致粗差误判.根据L1范估计的残差及其方差, 构造了L1范估计的巴尔达检验统计量, 并讨论了L1范估计的可靠性.与L2范估计的可靠性比较,L1范估计的可靠性受多余观测的影响小.     

粗差检验统计量构造方法的理论分析

构造粗差检验统计量的主要方法有两类。一种是基于观测值数学期望平移参数估值,另一种则是建立在预测残差的基础上。本文对上述两类构造粗差检验统计量的方法进行了理论分析。作者的研究结果表明,当观测值之间不相关时,上述两类方法在理论上是等价的。     

L1范数与IQR统计量组合的GNSS坐标序列粗差探测算法

GNSS坐标时间序列中不可避免地含有粗差,未剔除的粗差将会导致参数估计有偏。因此,粗差探测与剔除是GNSS坐标序列分析中一项重要的数据预处理工作。针对GNSS坐标时间序列特点,提出了一种将L1范数(L1-norm)估计与四分位距统计量IQR(interquartile range)组合的移动开窗粗差探测算法,称之为L1_Mod IQR。该方法的主要思想是,首先利用L1范数估计得到较"真实"的残差,然后再对残差采用IQR统计量进行粗差探测。将L1_Mod IQR法与"3σ"法、基于最小二乘的τ检验法等粗差探测算法进行了模拟计算与对比,验证了该算法的有效性。进一步采用L1_Mod IQR算法对中国区域10个IGS站的高程时间序列进行了分析,结果表明中国区域IGS站高程序列的粗差剔除率最小为0.1%,最大为2.6%。并且以WUHN站为例与SOPAC提供的结果进行了对比,结果表明SOPAC提供的"Clean"数据仍含有大量的粗差,而L1_Mod IQR算法能够有效地剔除粗差。     

基于验后方差估计原理导出的选权迭代法剔除粗差

将抗差估计的思想融入到粗差探测的算法中,设计出对模型误差,特别是粗差具有抵抗能力的粗差探测算法。基于验后方差估计原理导出的选权迭代法即为抗差估计的一种,首先是应用最小二乘法来计算观测值的参数x赞、残差v、协因数阵Qvv及单位权Q赞0的初值,然后再根据残差和有关的参数,按所选择的权函数,计算每个观测值的权,经过迭代计算求得观测值的残差,然后按照统计检验的方法剔除粗差。通过实验证明,基于验后方差估计原理导出的选权迭代具有很强的粗差探测能力。     

同步卫星观测误差的分布规律及处理

本文利用经典平差方法对鑫诺卫星的观测数据进行处理,采用偏度、峰度正态假设检验其残差值是否服从偶然分布,进而判断参数估计结果可靠与否。检验结果表明,残差时间序列的频率直方图不服从正态分布,最小二乘平差方法在处理此观测数据所得到的估计结果是不可靠的。鑫诺卫星观测数据不仅含有偶然误差,还存在系统误差等。本文采用数字滤波方法模型化系统误差及迭代平差的方法,达到提高数据处理精度的目的。     

顾及模糊逻辑关系的稳健估计

首先给出了标准化残差受粗差污染的隶属函数，进而导出了观测误差与残差之间的模糊逻辑关系，以及观测误差属于粗差的隶属函数。最后提出了顾及模糊逻辑关系的稳健估计算法。计算结果表明，顾及模糊逻辑关系的稳健估计能有效地抵制粗差的影响，并能正确地定位粗差     

Multiple outlier detection by evaluating redundancy contributions of observations

When applying single outlier detection techniques, such as the Tau () test, to examine the residuals of observations for outliers, the number of detected observations in any iteration of adjustment is most often more numerous than the actual number of true outliers. A new technique is proposed which estimates the number of outliers in a network by evaluating the redundancy contributions of the detected observations. In this way, a number of potential outliers can be identified and eliminated in each iteration of an adjustment. This leads to higher efficiency in data snooping of geodetic networks. The technique is illustrated with some numerical examples.     

GPS网平差中异常观测的平差补偿方法

首先分析了异常观测信息对参数结果的影响;然后以假设检验为手段通过残差向量构造粗差判别统计量,以一定的置信水平判定哪个观测值可能含有异常,有针对性地在相应的观测方程中引入新的平差参数。通过附加参数的平差补偿模型求出异常大小,从而控制异常数据对结果的影响。实测GPS算例表明,通过该方法能够有效地抵制参数先验信息异常的影响,并能解出异常误差的大小。     

Robust Kalman filtering based on Mahalanobis distance as outlier judging criterion

A robust Kalman filter scheme is proposed to resist the influence of the outliers in the observations. Two kinds of observation error are studied, i.e., the outliers in the actual observations and the heavy-tailed distribution of the observation noise. Either of the two kinds of errors can seriously degrade the performance of the standard Kalman filter. In the proposed method, a judging index is defined as the square of the Mahalanobis distance from the observation to its prediction. By assuming that the observation is Gaussian distributed with the mean and covariance being the observation prediction and its associate covariance, the judging index should be Chi-square distributed with the dimension of the observation vector as the degree of freedom. Hypothesis test is performed to the actual observation by treating the above Gaussian distribution as the null hypothesis and the judging index as the test statistic. If the null hypothesis should be rejected, it is concluded that outliers exist in the observations. In the presence of outliers scaling factors can be introduced to rescale the covariance of the observation noise or of the innovation vector, both resulting in a decreased filter gain. And the scaling factors can be solved using the Newton’s iterative method or in an analytical manner. The harmful influence of either of the two kinds of errors can be effectively resisted in the proposed method, so robustness can be achieved. Moreover, as the number of iterations needed in the iterative method may be rather large, the analytically calculated scaling factor should be preferred.     

部分变量误差模型的整体抗差最小二乘估计

部分变量误差模型(partial EIV model)的加权整体最小二乘(weighted total least-squares,WTLS)估计不具备抵御粗差的能力。鉴于粗差可能同时出现在观测值和系数矩阵中,本文在提出部分变量误差模型WTLS估计的两步迭代解法的基础上,运用抗差M估计的等价权方法,发展了一种整体抗差最小二乘(TRLS)估计方法,并采用一致最大功效统计量确定降权因子。针对WTLS估计两步迭代解法的特点,设计了两个不同的降权方案:第1个方案是在估计系数矩阵元素时,不对观测值降权,仅对系数矩阵降权;第2个方案是在估计系数矩阵元素时,既对系数矩阵降权,同时也对观测值降权。通过对模拟2D仿射变换和线性拟合实例进行计算和分析,结果表明第1方案优于第2方案,并且优于基于残差和验后单位权方差的抗差估计和现有的变量误差模型抗差估计。     

一种基于场论的空间异常探测方法

从空间数据场的角度,借鉴高斯势函数发展了一种新的空间异常度度量指标。进而,提出了一种基于场论的空间异常探测方法。该方法通过空间聚类获得局部相关性较强的空间簇,并构建合理、稳定的空间邻近域。在此基础上,采用专题属性变化梯度修复策略减弱空间邻近域中潜在异常的影响,并利用空间异常度度量指标计算实体的异常度,从而探测空间异常。实验结果及实例证明了此方法的正确性。     

圆曲线拟合算法中的粗差探测与识别

针对传统的圆曲线拟合算法抵御粗差影响能力较差的现状,该文提出了一种圆曲线拟合数据的粗差探测方案。该方案基于Pratt代数拟合算法,首先构造衡量拟合数据优劣的质量指标,据此迭代剔除数据中的异常值,然后在既得圆心估值的基础上,重新评估已被标记的可疑观测值,识别出真正的粗差并将其剔除。实验结果表明,该方法能够准确识别出数据中的粗差,有效提高圆曲线拟合的精度。     

FY-3D微波成像仪非线性特征及计算方法优化

风云三号D星(FY-3D)微波成像仪采用10.65 GHz、18.7 GHz、23.8 GHz、36.5 GHz和89.0 GHz双极化通道对地表辐射信息进行测量,定标精度会直接影响遥感数据的准确性。影响定标精度的主要因素之一是成像仪系统的非线性特征,用物理参数-非线性系数表示。所以准确计算非线性系数是地面热真空定标试验的主要目的之一,在95-298 K范围内设置不同变温源温度点,每一个温度点对应一个非线性系数,这些非线性系数的平均值即是系统最终的非线性系数值。受系统原理和试验条件的限制,计算平均值时需要确定变温源温度的有效范围,目前使用的范围确定方法是设计师首先依据经验提出几组可能的温度范围,然后对比每个范围的定标结果,选出最优的温度范围。显然,这种方法很容易受到人为因素的影响,而且由于不具备遍历所有温度范围的试验条件,无法确定每个变温源温度点的有效性。为了准确获得非线性系数值,首先通过分析热真空定标试验数据证明非线性系数与场景亮温无关,然后提出了一种优化计算方法,采用t准则确定有效范围得到非线性系数值。对比优化前后两种方法的结果表明,新方法的非线性亮温拟合残差的平均值和标准差值以及非线性亮温的最大拟合值都减小了。由此可见,新方法在计算非线性系数时可以获得更准确的变温源温度范围,可以优化非线性亮温的拟合效果,并且将定标精度提高0.04 K,优化效果在10 GHz接收机以及环境温度较高时尤为明显。     

基于中位参数初值的等价权抗差估计方法

等价权抗差估计法保留最小二乘估计处理正常观测值的优良特性,但其抗差性与初值关系极大,若用最小二乘估值作初值,必定会影响其抗差性.中位数法具有很好的抗差特性,但它只用部分观测数据计算参数估值,丢失大量有效信息.基于中位参数的抗差估计方法,在有限样本时,给出其崩溃污染率的估算方法.根据中位参数法和等价权抗差估计法的各自优点...     

Robust statistical approaches for local planar surface fitting in 3D laser scanning data

This paper proposes robust methods for local planar surface fitting in 3D laser scanning data. Searching through the literature revealed that many authors frequently used Least Squares (LS) and Principal Component Analysis (PCA) for point cloud processing without any treatment of outliers. It is known that LS and PCA are sensitive to outliers and can give inconsistent and misleading estimates. RANdom SAmple Consensus (RANSAC) is one of the most well-known robust methods used for model fitting when noise and/or outliers are present. We concentrate on the recently introduced Deterministic Minimum Covariance Determinant estimator and robust PCA, and propose two variants of statistically robust algorithms for fitting planar surfaces to 3D laser scanning point cloud data. The performance of the proposed robust methods is demonstrated by qualitative and quantitative analysis through several synthetic and mobile laser scanning 3D data sets for different applications. Using simulated data, and comparisons with LS, PCA, RANSAC, variants of RANSAC and other robust statistical methods, we demonstrate that the new algorithms are significantly more efficient, faster, and produce more accurate fits and robust local statistics (e.g. surface normals), necessary for many point cloud processing tasks. Consider one example data set used consisting of 100 points with 20% outliers representing a plane. The proposed methods called DetRD-PCA and DetRPCA, produce bias angles (angle between the fitted planes with and without outliers) of 0.20° and 0.24° respectively, whereas LS, PCA and RANSAC produce worse bias angles of 52.49°, 39.55° and 0.79° respectively. In terms of speed, DetRD-PCA takes 0.033 s on average for fitting a plane, which is approximately 6.5, 25.4 and 25.8 times faster than RANSAC, and two other robust statistical methods, respectively. The estimated robust surface normals and curvatures from the new methods have been used for plane fitting, sharp feature preservation and segmentation in 3D point clouds obtained from laser scanners. The results are significantly better and more efficiently computed than those obtained by existing methods.