约束最小二乘问题的几个算法

讨论了具有线性等式与不等式最小二乘问题及等式约束带权最小二乘问题 ,运用矩阵Householder正交分解及有效约束集法等技巧 ,分别给出了几个有效实用的算法 ,最后进行了数值检验。     

等式约束对病态问题的影响及约束正则化方法

有效利用参数间已知的等式约束信息能够提高最小二乘解的精度,消除秩亏,但是等式约束能否消除或减弱平差模型的病态性尚不明了,由此提出了一种通过消除部分参数将等式约束病态问题转化为无约束问题的方法。然后分析了等式约束对病态问题的影响,用简单实例证明了加入约束后,系统可能呈现良态或病态,它的性态由原设计阵和等式约束共同决定,并提出了求解等式约束病态问题的诊断-正则化两步方法。最后用一个数值实例验证了该方法的可行性。     

等式约束EIV模型的Newton-Gauss迭代解法及其精度评定

利用平差参数间的合理等式约束能够提高解的稳定性。针对变量误差模型EIV(errors-in-variables)引入等式约束,分别针对系数阵良态和病态两种情形建立了约束总体最小二乘准则。基于非线性最小二乘问题的常用解法Newton-Gauss法,由约束准则构建了拉格朗日极值函数并由欧拉-拉格朗日必要条件导出了等式约束EIV模型的Newton-Gauss迭代解。针对精度评定时未考虑参数估值偏差所带来的影响这一不足,基于蒙特卡罗模拟法提出了一种估计约束EIV模型单位权方差和参数估值的协方差阵的数值方法。算例分析结果表明,约束总体最小二乘解严格满足先验等式约束条件;当系数阵病态时,约束条件能够提升解的稳定性和精度。此外,基于蒙特卡罗的数值方法能够获得稳定且合理的精度评定结果。     

等式约束病态模型的正则化解及其统计性质

平差参数间合理的等式约束能显著提高最小二乘解的精度,消除自由网的秩亏问题,还能改善病态模型的解,本文由此提出了附等式约束的测量平差病态模型。建立了等式约束病态模型平差的正则化准则,由拉格朗日乘数法得到了模型的解,并给出了解的统计性质,证明它有偏,且均方误差小于约束最小二乘解。给出了确定正则化因子的均方误差极小化准则及数值解法,并以模拟的病态数值算例和测边控制网为例进行计算,验证了算法的可行性和解的优良性质。     

附加一次和二次等式约束的Partial-EIV模型及相应算法

研究了附加一次和二次等式约束的Partial-EIV模型,推导了加权整体最小二乘估计准则下相应的计算公式,并讨论了仅附加一次等式约束的Partial-EIV模型和仅附加二次等式约束的Partial-EIV模型。通过正交线性回归和平面坐标转换两个算例进行实验,将新算法与已有的附加等式约束的EIV模型的方法进行了对比,发现文中方法计算效率更高,且适用于结构化EIV模型的求解。     

改进的约束总体最小二乘法

针对传统的约束最小二乘模型和总体最小二乘模型的局限性,该文提出了一种改进的约束总体最小二乘法。假设约束总体最小二乘问题中约束方程系数矩阵也存在误差,然后构造函数模型的广义拉格朗日函数,采用最小二乘法迭代求解非线性的法方程,最终获得了改进的约束总体最小二乘法的牛顿-高斯迭代公式和平差模型精度的无偏估计。该算法采用了更接近实际的平差模型,能够获得更加接近真值的估计参数,同时平差模型的精度更加接近模拟数据加入的噪声水平。实验结果表明,本文算法可有效解决对参数进行约束时的数据处理问题。     

融合正交几何信息的非线性等式约束整体最小二乘平差及迭代算法

正交距离最小二乘和加权整体最小二乘是解自变量含误差拟合问题的两种独立准则。加权整体最小二乘与正交距离最小二乘不同,它不考虑测量点与拟合点之间的连线垂直于拟合对象的几何信息,不能确保测量点到拟合对象的距离的平方和为极小值。针对该问题,本文将正交几何信息作为约束条件融入加权整体最小二乘,提出一种约束方程带有误差改正数的非线性等式约束整体最小二乘平差法。首先,把加权整体最小二乘平差的函数式看作是非线性方程,连同正交几何约束方程一并线性化,得到线性的平差函数方程;然后,采用拉格朗日乘数法推导其参数估计及精度评定公式,并给出迭代计算算法;最后,以平面直线拟合为例,对本文方法和计算算法进行验证。试验结果表明:①本文方法和算法具有可行性;②与加权最小二乘和加权整体最小二乘相比,本文方法计算的测量点到拟合直线的垂直距离平方和最小;③本文方法计算的测量点到拟合直线的距离与测量点到拟合点的距离相等。     

不等式约束最小二乘问题的解及其统计性质

对不等式约束最小二乘平差问题,借助非线性规划中的凝聚约束方法把多个不等式约束转化为一个等式约束,采用拉格朗日极值法求解,解与贝叶斯解或单纯形解一致。其优点在于该解能够表示为观测的明显表达式,由此解的统计性质与最优性可以确定。给出演示该方法的GPS单点定位算例。     

带不等式约束的最小二乘方法比较

解决带不等式约束的平差问题已有较多方法,但不同方法之间的对比分析不足。本文讨论三种带不等式约束的最小二乘算法:简单迭代算法、虚拟误差方程法、迭代乘子法,三种算法都是基于有效约束理论将不等式约束转换为等式约束,通过迭代求解。采用同一组数据和蒙特卡罗仿真实验方法对三种算法计算结果进行对比分析,实验结果分析表明:迭代乘子法算法效率最高,推荐使用该算法。     

基于最小二乘支持向量机回归的GPS高程转换模型

探讨了将最小二乘估计引入到支持向量机中,给出最小二乘支持向量机回归(LS-SVR)算法,该算法用等式约束代替传统支持向量机回归中的不等式约束,使得求解过程更为简单。将构建的LS-SVR模型应用到GPS高程转换中,提出该回归模型的实现步骤。实例表明,在有限样本情况下,LS-SVR完全可以达到与传统GPS高程拟合方法相同的精度,但实现起来更简单,而且在泛化性能方面具有理论上的保证。