Incorporation of Perception-based Information in Robot Learning Using Fuzzy Reinforcement Learning Agents

Robot learning in unstructured environments has been proved to be an extremely challenging problem, mainly because of many uncertainties always present in the real world. Human beings, on the other hand, seem to cope very well with uncertain and unpredictable environments, often relying on perception-based information. Furthermore, humans beings can also utilize perceptions to guide their learning on those parts of the perception-action space that are actually relevant to the task. Therefore, we conduct a research aimed at improving robot learning through the incorporation of both perceptionbased and measurement-based information. For this reason, a fuzzy reinforcement learning (FRL) agent is proposed in this paper. Based on a neural-fuzzy architecture, different kinds of information can be incorporated into the FRL agent to initialise its action network, critic network and evaluation feedback module so as to accelerate its learning. By making use of the global optimisation capability of GAs (genetic algorithms), a GA-based FRL (GAFRL) agent is presented to solve the local minima problem in traditional actor-critic reinforcement learning. On the other hand, with the prediction capability of the critic network, GAs can perform a more effective global search. Different GAFRL agents are constructed and verified by using the simulation model of a physical biped robot. The simulation analysis shows that the biped learning rate for dynamic balance can be improved by incorporating perception-based information on biped balancing and walking evaluation. The biped robot can find its application in ocean exploration, detection or sea rescue activity, as well as military maritimeac tivity.     

用遗传算法对自动控制系统数学模型寻优

探讨用遗传算法对数学模型进行优化。考虑到控制系统稳健性的要求 ,用遗传算法寻找出控制系统最佳稳定域 ,实现控制系统数学模型的寻优。阐述了用遗传算法求解问题的步骤和参数的取值 ,并用仿真实验对优化结果进行了检验。结果表明 :在控制系统数学模型的优化中 ,遗传算法具有其他算法无可比拟的优越性。     

用遗传算法解算病态方程

对应用遗传算法解决病态方程问题进行了探讨。利用拟合法而不是通过法方程求解参数，从而避免了法方程系数求逆，使病态方程的解答有了较好的结果。通过模拟计算并和其他方法进行比较，证明该方法是可行的和有效的。     

模糊物元分析在金刚石钻头综合评价中的应用

针对金刚石钻头综合评价中各指标的不相容性和模糊性,提出基于模糊物元分析的金刚石钻头综合评价方法.该方法将待评价金刚石钻头、评价指标及其特征值作为物元,根据专家经验和工程实际建立关联函数,通过计算综合关联度得到最优的金刚石钻头.用实例与模糊优化理论模型等进行了对比,得到了一致的结果.     

Matlab遗传算法工具GUI率定马斯京根模型参数

本文针对传统及改进马斯京根洪水演算模型,利用简单易行的Matlab遗传算法工具(gatool)GUI进行模型参数最优估计,获得不同优化准则下的模型参数,并进行检验.结果表明用Matlab遗传算法工具GUI优选改进后的马斯京根模型参数,收敛能力强、计算时间短、所得演算流量更接近实际.     

基于AGA的SVM需水预测模型研究

需水预测是一个由城市人口、工业水平、社会经济水平共同作用的多因素、多层次的复杂非线性系统.其结果将直接影响受区域水资源承载力约束的产业结构、布局形态等决策.作为一种集中参数预报方法,支持向量机方法具有对未来样本的较好的泛化性能,对于这类资料缺乏、系统结构尚欠清晰的问题可以取得较好的模拟和预测结果.基于此,本文将支持向量机方法引入需水预测领域,建立了需水预测支持向量机模型.同时,本文将加速遗传算法和支持向量机方法耦合起来,构造了支持向量机模型参数的自适应优化算法.模型在珠海市的应用实例表明:与简单遗传算法比较,AGA的模型参数寻优效率更高;与BP神经网络模型相比,SVM模型较好地解决了小样本、经验性等问题,并取得了较高的预测精度.     

GAS参数优化方法在黄河上游非汛期径流预报中的应用

本文采用相关分析与GAS参数优化相结合的方法,对黄河上游非汛期径流预报模型进行了研究,并对2000～2003年的径流进行了实时预报检验,从检验结果来看,这种预报方法具有较高的预报精度.本文为非汛期径流预报研究提供了参考和借鉴,同时,就计算分析手段而言,GAS在参数优化方面具有广泛的应用价值.     

海洋调查数据的可视化建模及实现方法

科学计算可视化作为新一代的分析工具 ,正在进入物理海洋学领域。文中介绍对海洋调查数据进行可视化的关键问题——数据建模 ,并从分析海洋调查数据的特点出发提出针对海洋研究中可视化建模的原则和有效途径 ,给出相关的实现方法。其中 ,重点讨论局部体样条建模中必须面对的区域分割优化问题 ,引入遗传算法并给出较好的解决方案。     

流形上的空间密度聚类算法研究

研究流形上的聚类分析，针对基于密度的空间聚类引入了流形概念，提出1种基于流形的密度聚类算法，该方法将流形的概念与聚类相结合，可以适用于样本为复杂分布的聚类。文中通过实例证明此算法的有效性。     

应用遗传神经网格方法分析赤潮监测数据

简要介绍了遗传神经网络方法的原理 ,探讨了应用遗传神经网络方法研究辽东湾海域丹麦细柱藻 (Leptocylindrusdanicus)赤潮与其环境因子之间的关系 ,计算了各环境因子对丹麦细柱藻赤潮的贡献。结果表明 ,温度、盐度、DIN的变化对研究海域丹麦细柱藻种群密度的增长有比较重要的影响 ,DIN是营养限制因子。遗传神经网络是分析赤潮监测数据的有效方法 ,值得进一步探索