Incorporation of Perception-based Information in Robot Learning Using Fuzzy Reinforcement Learning Agents

Robot learning in unstructured environments has been proved to be an extremely challenging problem, mainly because of many uncertainties always present in the real world. Human beings, on the other hand, seem to cope very well with uncertain and unpredictable environments, often relying on perception-based information. Furthermore, humans beings can also utilize perceptions to guide their learning on those parts of the perception-action space that are actually relevant to the task. Therefore, we conduct a research aimed at improving robot learning through the incorporation of both perceptionbased and measurement-based information. For this reason, a fuzzy reinforcement learning (FRL) agent is proposed in this paper. Based on a neural-fuzzy architecture, different kinds of information can be incorporated into the FRL agent to initialise its action network, critic network and evaluation feedback module so as to accelerate its learning. By making use of the global optimisation capability of GAs (genetic algorithms), a GA-based FRL (GAFRL) agent is presented to solve the local minima problem in traditional actor-critic reinforcement learning. On the other hand, with the prediction capability of the critic network, GAs can perform a more effective global search. Different GAFRL agents are constructed and verified by using the simulation model of a physical biped robot. The simulation analysis shows that the biped learning rate for dynamic balance can be improved by incorporating perception-based information on biped balancing and walking evaluation. The biped robot can find its application in ocean exploration, detection or sea rescue activity, as well as military maritimeac tivity.     

用遗传算法对自动控制系统数学模型寻优

探讨用遗传算法对数学模型进行优化。考虑到控制系统稳健性的要求 ,用遗传算法寻找出控制系统最佳稳定域 ,实现控制系统数学模型的寻优。阐述了用遗传算法求解问题的步骤和参数的取值 ,并用仿真实验对优化结果进行了检验。结果表明 :在控制系统数学模型的优化中 ,遗传算法具有其他算法无可比拟的优越性。     

用遗传算法解算病态方程

对应用遗传算法解决病态方程问题进行了探讨。利用拟合法而不是通过法方程求解参数，从而避免了法方程系数求逆，使病态方程的解答有了较好的结果。通过模拟计算并和其他方法进行比较，证明该方法是可行的和有效的。     

地球化学景观吸引子的发现及其意义

勘查地球化学对异常评价的最大不确定性源于对地球化学景观特性的认识不够。我们应用构造相空间的方法分析了浙江儒岙幅（1:5万）水系沉积物测量的Ag含量数据，揭示了地球化学景观是具有低维吸引子（DZ≈2．9）的混饨系统。这一发现将对勘查地球化学中采样密度的选择、地球化学场模拟、异常评价等根本性问题产生重大影响。     

Matlab遗传算法工具GUI率定马斯京根模型参数

本文针对传统及改进马斯京根洪水演算模型,利用简单易行的Matlab遗传算法工具(gatool)GUI进行模型参数最优估计,获得不同优化准则下的模型参数,并进行检验.结果表明用Matlab遗传算法工具GUI优选改进后的马斯京根模型参数,收敛能力强、计算时间短、所得演算流量更接近实际.     

基于AGA的SVM需水预测模型研究

需水预测是一个由城市人口、工业水平、社会经济水平共同作用的多因素、多层次的复杂非线性系统.其结果将直接影响受区域水资源承载力约束的产业结构、布局形态等决策.作为一种集中参数预报方法,支持向量机方法具有对未来样本的较好的泛化性能,对于这类资料缺乏、系统结构尚欠清晰的问题可以取得较好的模拟和预测结果.基于此,本文将支持向量机方法引入需水预测领域,建立了需水预测支持向量机模型.同时,本文将加速遗传算法和支持向量机方法耦合起来,构造了支持向量机模型参数的自适应优化算法.模型在珠海市的应用实例表明:与简单遗传算法比较,AGA的模型参数寻优效率更高;与BP神经网络模型相比,SVM模型较好地解决了小样本、经验性等问题,并取得了较高的预测精度.     

GAS参数优化方法在黄河上游非汛期径流预报中的应用

本文采用相关分析与GAS参数优化相结合的方法,对黄河上游非汛期径流预报模型进行了研究,并对2000～2003年的径流进行了实时预报检验,从检验结果来看,这种预报方法具有较高的预报精度.本文为非汛期径流预报研究提供了参考和借鉴,同时,就计算分析手段而言,GAS在参数优化方面具有广泛的应用价值.     

海洋调查数据的可视化建模及实现方法

科学计算可视化作为新一代的分析工具 ,正在进入物理海洋学领域。文中介绍对海洋调查数据进行可视化的关键问题——数据建模 ,并从分析海洋调查数据的特点出发提出针对海洋研究中可视化建模的原则和有效途径 ,给出相关的实现方法。其中 ,重点讨论局部体样条建模中必须面对的区域分割优化问题 ,引入遗传算法并给出较好的解决方案。     

海底地形演变模型初探

当前,地理信息系统(GIS)时-空结合的分析功能还很有限,尤其是海洋地理信息系统(OGIS).由于海洋系统自身的复杂性,如海底地形这种受时-空影响的信息元素,对其预测就有相当的难度,有关这方面的文献也较少见.本文从影响海底地形演变的机理出发,结合四维空间关联性和混沌巨系统理论,提出了“空间相关混合自适应模型”.在此基础上,根据黄海辐射状沙洲西太阳沙及附近海域的具体情况,建立了该区的地形演变模型.以3个年代的测量数据为基础,运用分形内插方法生成连续多年(25a)的水深时-空数据序列,通过所建地形预测模型的处理,取得了未来年份的水深预测值,经比较检验认为是可信赖的.为江苏省东部沿海港口开发建设提供了科学依据.     

应用遗传神经网格方法分析赤潮监测数据

简要介绍了遗传神经网络方法的原理 ,探讨了应用遗传神经网络方法研究辽东湾海域丹麦细柱藻 (Leptocylindrusdanicus)赤潮与其环境因子之间的关系 ,计算了各环境因子对丹麦细柱藻赤潮的贡献。结果表明 ,温度、盐度、DIN的变化对研究海域丹麦细柱藻种群密度的增长有比较重要的影响 ,DIN是营养限制因子。遗传神经网络是分析赤潮监测数据的有效方法 ,值得进一步探索