Incorporation of Perception-based Information in Robot Learning Using Fuzzy Reinforcement Learning Agents

Robot learning in unstructured environments has been proved to be an extremely challenging problem, mainly because of many uncertainties always present in the real world. Human beings, on the other hand, seem to cope very well with uncertain and unpredictable environments, often relying on perception-based information. Furthermore, humans beings can also utilize perceptions to guide their learning on those parts of the perception-action space that are actually relevant to the task. Therefore, we conduct a research aimed at improving robot learning through the incorporation of both perceptionbased and measurement-based information. For this reason, a fuzzy reinforcement learning (FRL) agent is proposed in this paper. Based on a neural-fuzzy architecture, different kinds of information can be incorporated into the FRL agent to initialise its action network, critic network and evaluation feedback module so as to accelerate its learning. By making use of the global optimisation capability of GAs (genetic algorithms), a GA-based FRL (GAFRL) agent is presented to solve the local minima problem in traditional actor-critic reinforcement learning. On the other hand, with the prediction capability of the critic network, GAs can perform a more effective global search. Different GAFRL agents are constructed and verified by using the simulation model of a physical biped robot. The simulation analysis shows that the biped learning rate for dynamic balance can be improved by incorporating perception-based information on biped balancing and walking evaluation. The biped robot can find its application in ocean exploration, detection or sea rescue activity, as well as military maritimeac tivity.     

模糊划分矩阵在岩土参数概率分布中的应用

讨论如何在小样本条件下用已有的过程经验与试验资料确定岩土参数概率分布,用模糊划分矩阵与BAYES方法相结合,给出由小样本试验数据确定岩土参数的概率分布。     

排序对模糊度解算中降相关性能的影响分析

针对不同排序算法对模糊度解算存在降相关性能影响的问题,从理论上分析了自然升序法、对称旋转法及扰动升序法的降相关原理,并基于模拟数据和实测数据,从降相关时间、搜索时间、总体耗时、Bootstrapping成功率及条件数5个方面对3种算法进行对比分析。结果表明,降相关效率与搜索椭球压缩程度呈负相关关系,搜索椭球压缩程度越高,降相关效率越低;对于不同的排序算法,提高降相关性能的关键在于减少降相关时间及对条件方差按一定方向排序,进而提高搜索效率。     

区域GNSS网的整数卫星钟差解算

基于双差模糊度的整数性质,从理论上证明,通过固定基准模糊度可以使整网的星间单差模糊度都恢复整数性质,实现星间单差模糊度固定,从而得到整数卫星钟差。提出模糊度连续弧段的概念,改进基准模糊度选取方法。实验表明,对于1 d弧长的区域观测网数据,与旧方法相比,新方法获得的基准模糊度的数量增加近1倍;基准模糊度固定之后,窄巷模糊度成功固定的比例从60%左右提高到90%左右。将得到的整数卫星钟差用于30 min弧长的快速静态PPP,实现固定解的比例为96.00%。模糊度固定之后,PPP定位N、E、U方向的RMS分别达到7.3 mm、9.8 mm、23.3 mm。     

基于模糊分类的UBGM(1,1)-Markov模型在露天矿边坡沉降预测中的应用

针对UBGM(1,1)-Markov模型中存在2个邻近值可能被归属到不同状态,导致预测值产生偏差的问题,结合模糊分类理论,构建基于模糊分类的无偏灰色-马尔科夫模型(unbiased gray-Markov model based on fuzzy classification, FC-UBGM(1,1)-Markov)。首先对UBGM(1,1)模型进行残差修正,然后将修正后拟合值的相对残差序列作为Markov链进行区间划分,再结合模糊分类的隶属度函数,计算相对残差的模糊向量,根据隶属度确定其所属的状态。实际算例表明,该模型比传统UBGM(1,1)-Markov模型的预测效果更好。     

湛江科学发展水平测度及分析研究

以科学发展观内涵为基础,选择评估指标构建湛江科学发展的AHP模型,对湛江2006—2012年科学发展水平进行评估,然后通过基于次约束的模糊评价法分析湛江科学发展的制约因素,得到3点结论:第一,湛江科学发展总体水平不高;第二,湛江科学发展最大的制约因素是"统筹区域发展";第三,"层次分析法+次约束模糊评价法"可以作为评估地区科学发展水平的范式。     

基于正则化的GPS/BDS单频单历元模糊度固定

针对单频单历元模糊度固定中的秩亏问题,给出一种基于双差载波系数阵奇异值分解的正则化方法。通过对坐标改正参数进行约束,改善法矩阵的病态性,并结合LAMBDA方法实现单历元模糊度固定。采用长度不同的两组GPS/BDS基线数据进行单频单历元模糊度解算,并与选权拟合法比较。结果表明,采用该方法,5.8 m基线BDS系统模糊度解算成功率提高17.61%,2.34 km基线GPS、BDS及GPS/BDS模糊度解算成功率分别提高4.67%、3.56%和3.63%。当截止高度角为10°时,E、N方向定位精度达到mm级,U方向达到mm至cm级。     

模糊层次分析法在西南印度洋中脊46°~52°E多金属硫化物远景区预测中的应用

海底多金属硫化物作为热液活动的产物,具有较好的成矿远景和开发潜力,已成为各国海洋矿产勘探的重点。模糊层次分析法将模糊数学和专家知识相结合,是一种典型的知识驱动的矿产资源定量预测方法。利用该方法对西南印度洋中脊46°~52°E研究区进行了数据处理,结合专家经验计算9个证据层的权重值,最后由伽马算子进行综合,生成最终的海底硫化物矿床远景区预测图。通过预测-面积（P-A）图分析,确定模糊层次分析法的最优γ值为0.9。用C-A分形的方法确定了不同成矿概率水平对应的阈值,在此基础上评估了方法的预测性能。结果表明,在基于模糊层次分析法的预测模型中,ROC曲线下的面积为0.887,预测的热液点和地震点占已知的90.5%,表明该方法能够有效地预测研究区的有利成矿区域,为今后的海底硫化物勘探提供依据。      

模糊评判法在公路黄土洞穴发育程度分区中的应用

阐述了影响黄土洞穴形成的黄土湿陷性、崩解性、地质构造、节理裂隙、微地形地貌和水文及气候条件等工程地质特性和地质因素;在公路沿线地区,公路工程质量及人类活动也是黄土洞穴形成的影响因素。洞穴发育程度分区预测和评价极具复杂性、随机性和模糊性,为此,在对各影响因素分析的基础上,借助模糊综合评判法,对黄土区公路沿线洞穴发育程度分区进行了研究。与实际情况对比分析表明,预测评价结果合理可靠,可作为黄土区已建公路洞穴灾害的防治依据。     

寄给天国里的父亲

父亲，今天是女儿的生日，三十二岁。还记得么?三月的天居然渐淅沥沥的下起了小雨，女儿漫无目的的在街上游走，却在不知不觉中走到了咱们的老家。站在油漆剥落的大门外，一时间，模糊了所有的时间和空间，往事却那么执著的涌上心头。