Incorporation of Perception-based Information in Robot Learning Using Fuzzy Reinforcement Learning Agents

Robot learning in unstructured environments has been proved to be an extremely challenging problem, mainly because of many uncertainties always present in the real world. Human beings, on the other hand, seem to cope very well with uncertain and unpredictable environments, often relying on perception-based information. Furthermore, humans beings can also utilize perceptions to guide their learning on those parts of the perception-action space that are actually relevant to the task. Therefore, we conduct a research aimed at improving robot learning through the incorporation of both perceptionbased and measurement-based information. For this reason, a fuzzy reinforcement learning (FRL) agent is proposed in this paper. Based on a neural-fuzzy architecture, different kinds of information can be incorporated into the FRL agent to initialise its action network, critic network and evaluation feedback module so as to accelerate its learning. By making use of the global optimisation capability of GAs (genetic algorithms), a GA-based FRL (GAFRL) agent is presented to solve the local minima problem in traditional actor-critic reinforcement learning. On the other hand, with the prediction capability of the critic network, GAs can perform a more effective global search. Different GAFRL agents are constructed and verified by using the simulation model of a physical biped robot. The simulation analysis shows that the biped learning rate for dynamic balance can be improved by incorporating perception-based information on biped balancing and walking evaluation. The biped robot can find its application in ocean exploration, detection or sea rescue activity, as well as military maritimeac tivity.     

用遗传算法对自动控制系统数学模型寻优

探讨用遗传算法对数学模型进行优化。考虑到控制系统稳健性的要求 ,用遗传算法寻找出控制系统最佳稳定域 ,实现控制系统数学模型的寻优。阐述了用遗传算法求解问题的步骤和参数的取值 ,并用仿真实验对优化结果进行了检验。结果表明 :在控制系统数学模型的优化中 ,遗传算法具有其他算法无可比拟的优越性。     

用遗传算法解算病态方程

对应用遗传算法解决病态方程问题进行了探讨。利用拟合法而不是通过法方程求解参数，从而避免了法方程系数求逆，使病态方程的解答有了较好的结果。通过模拟计算并和其他方法进行比较，证明该方法是可行的和有效的。     

Gamma暴余辉的相对论流体动力学演化和光变曲线

本文首先对Gamma暴的观测特性和物理过程作了简要的介绍 ,而后 ,对火球模型的相对论流体动力学机制和同步加速辐射机制作了论述。主要工作是 :具体研究火球所抛出壳层的相对论流体动力学演化 ,应用同步加速辐射机制 ,通过由共动坐标系到实验室坐标系的相对论变换 ,得到Gamma暴余辉的光变曲线。对于火球壳层的不同的动力学演化规律 ,各向同性或各向异性的壳层抛出形式 ,以及不同的外部介质环境 ,所得到的光变曲线都各不相同。通过对这些不同的光变曲线的比较 ,明确了Gamma暴余辉的整体的物理演化图象以及各种物理过程在Gamma暴余辉演化过程中所起的作用 ,并从余辉演化的方面进一步理解了Gamma暴的物理本质     

射电喷流中湍动阿耳芬波对相对论电子的加速

本文通过数值求解带电粒子与Ａｌｆｖｅｎ波湍动相互作用的动力学方程，得到了相对论电子在射电喷流中被加速随时间演化的解．高能电子可以加速到Ｌｏｒｅｎｔｚ因子γｙ～１０６，且形成稳态的幂律谱，尽管其谱指数Ｓ≈ｌ比观测值小，但粒子加速时间约为１０１２－１０１４秒，小于射电斑的寿命１０７年．粒子能谱指数几乎与Ａｌｆｖｅｎ波谱指数和能量损失函数无关．能量损失对加速上限有较大影响．     

Matlab遗传算法工具GUI率定马斯京根模型参数

本文针对传统及改进马斯京根洪水演算模型,利用简单易行的Matlab遗传算法工具(gatool)GUI进行模型参数最优估计,获得不同优化准则下的模型参数,并进行检验.结果表明用Matlab遗传算法工具GUI优选改进后的马斯京根模型参数,收敛能力强、计算时间短、所得演算流量更接近实际.     

基于AGA的SVM需水预测模型研究

需水预测是一个由城市人口、工业水平、社会经济水平共同作用的多因素、多层次的复杂非线性系统.其结果将直接影响受区域水资源承载力约束的产业结构、布局形态等决策.作为一种集中参数预报方法,支持向量机方法具有对未来样本的较好的泛化性能,对于这类资料缺乏、系统结构尚欠清晰的问题可以取得较好的模拟和预测结果.基于此,本文将支持向量机方法引入需水预测领域,建立了需水预测支持向量机模型.同时,本文将加速遗传算法和支持向量机方法耦合起来,构造了支持向量机模型参数的自适应优化算法.模型在珠海市的应用实例表明:与简单遗传算法比较,AGA的模型参数寻优效率更高;与BP神经网络模型相比,SVM模型较好地解决了小样本、经验性等问题,并取得了较高的预测精度.     

GAS参数优化方法在黄河上游非汛期径流预报中的应用

本文采用相关分析与GAS参数优化相结合的方法,对黄河上游非汛期径流预报模型进行了研究,并对2000～2003年的径流进行了实时预报检验,从检验结果来看,这种预报方法具有较高的预报精度.本文为非汛期径流预报研究提供了参考和借鉴,同时,就计算分析手段而言,GAS在参数优化方面具有广泛的应用价值.     

海洋调查数据的可视化建模及实现方法

科学计算可视化作为新一代的分析工具 ,正在进入物理海洋学领域。文中介绍对海洋调查数据进行可视化的关键问题——数据建模 ,并从分析海洋调查数据的特点出发提出针对海洋研究中可视化建模的原则和有效途径 ,给出相关的实现方法。其中 ,重点讨论局部体样条建模中必须面对的区域分割优化问题 ,引入遗传算法并给出较好的解决方案。     

应用遗传神经网格方法分析赤潮监测数据

简要介绍了遗传神经网络方法的原理 ,探讨了应用遗传神经网络方法研究辽东湾海域丹麦细柱藻 (Leptocylindrusdanicus)赤潮与其环境因子之间的关系 ,计算了各环境因子对丹麦细柱藻赤潮的贡献。结果表明 ,温度、盐度、DIN的变化对研究海域丹麦细柱藻种群密度的增长有比较重要的影响 ,DIN是营养限制因子。遗传神经网络是分析赤潮监测数据的有效方法 ,值得进一步探索