收稿日期: 2015-06-12
网络出版日期: 2016-09-29
基金资助
国家自然科学基金 (61170132); 中国博士后科学基金 (201003405)
An extreme learning process neural networks based on particle swarm optimization
Received date: 2015-06-12
Online published: 2016-09-29
本文针对过程神经元网络(Process Neural Network, PNN)模型学习参数较多, 正交基展开后的梯度下降算法初值敏感、计算复杂、不易收敛等问题, 结合极限学习机(Extreme Learning Machine, ELM)的快速学习特性, 提出了一种新型的极限学习过程神经元网络. 学习过程中摒弃梯度下降算法的迭代调整策略, 采用 Moore-Penrose 广义逆计算输出权值矩阵. 同时为弥补极限学习机由于随机赋值造成的不足, 利用粒子群算法(Particle Swarm Optimization, PSO)良好的全局搜索能力进行模型参数优化, 获得紧凑的网络结构, 提高了模型泛化能力. 仿真实验以 Henon 混沌时间序列和太阳黑子预测为例, 验证了网络的有效性.
关键词： 过程神经元网络; 极限学习机; 粒子群; Moore-Penrose广义逆; 网络训练
刘志刚 , 许少华 , 李盼池 . 一种基于粒子群优化的极限学习过程神经网络[J]. 华东师范大学学报（自然科学版）, 2016 , 2016(4) : 86 -95 . DOI: 10.3969/j.issn.1000-5641.2016.04.010
Aiming at the problems that process neural network has more learning parameters, sensitive to initial value, complicated computation and difficult to converge
for the gradient descent algorithm based on orthogonal basis expansion, a new process neural network based on extreme learning machine is presented in this paper. The iterative adjustment strategy is rejected in the trainning process and use Moore-Penrose to calculate the output weight matrix. In order to make up for the lack of random assignment for the extreme learning machine, the particle swarm algorthim is taken and the parameters are optimized with its global search ability. This algorthim can get the more tightly network structure and improve the model generalization ability. The model and algorthim are applied to Henon chaotic time series and sunspot prediction. The simulation results confirm the validity and feasibility of the model and learning algorithm.
[1] 何新贵, 梁久祯．过程神经元网络的若干理论问题 [J]．中国工程科学,2000, 2(12): 40-44．
[2] 许少华, 何新贵．关于连续过程神经元网络的一些理论问题 [J]．电子学报,2006, 34(10): 1838-1842．
[3] 许少华, 何新贵,李盼池．自组织过程神经网络及其应用研究 [J]．计算机研究与发展, 2003,40(11): 1612-1615．
[4] 李洋, 钟诗胜．多分辨小波过程神经网络及其应用研究 [J]．智能系统学报,2008, 3(3): 211-215．
[5] 李盼池, 王海英, 戴庆,等．量子过程神经网络模型算法及应用 [J]．物理学报, 2012, 61(16):160303．
[6] 丁刚,钟诗胜．基于过程神经网络的时间序列预测及其应用研究 [J]．控制与决策,2006, 21(2): 1037-1041．
[7] 丁刚,钟诗胜．基于时变阈值过程神经网络的太阳黑子数预测 [J]．物理学报,2007, 56(2): 1224-1229．
[8] 王兵, 许少华.基于半监督竞争学习过程神经网络的抽油机故障诊断 [J]．信息与控制,2014, 43(2): 235-240．
[9] 肖红, 许少华, 李盼池.基于数值积分的多聚合过程神经网络算法 [J]．信息与控制, 2013, 42(5):608-612．
[10] 许少华,何新贵．基于函数正交基展开的过程神经网络学习算法 [J]．计算机学报,2004, 27(5): 645-650．
[11] 许少华, 蔡月芹,谢树民．基于傅立叶函数基变换的过程神经元网络学习算法 [J]．计算机工程与设计,2006, 27(23): 4113-4115．
[12] 李盼池,许少华．基于连续沃尔什变换的过程神经元网络训练 [J]．计算机工程与设计,2005, 26(3): 702-704．
[13] 丁刚．面向状态预报的过程神经网络模型及其应用研究 [D]．哈尔滨:哈尔滨工业大学, 2011.
[14] HUANG G B, ZHU Q Y, SIEW C K. Extreme learning machine: Theory and applications [J]. Neurocomputing, 2006, 70: 489-501.
[15] HUANG G B, CHEN L. Enhanced random search based incremental extreme learning machine [J]. Neurocomputing, 2008, 71: 3460-3468.
[16] HUANG G B, ZHOU H, DING X, et al. Extreme learning machine for regression and multiclass classification [J]. IEEE Transactions on Systems Man and Cybernetics Part B, 2012, 42: 513-516.
[17] 邓万宇, 郑庆花. 神经网络极速学习方法研究~[J]. 计算机学报, 2010,33(2): 279-286.
[18] 马超．基于元启发优化极限学习机的分类算法及其应用研究 [D]．长春:吉林大学, 2014, 29-30．
[19] 刘坤, 谭营, 何新贵. 基于粒子群优化的过程神经网络学习算法 [J].北京大学学报 (自然科学版), 2011, 47(2): 2, 238-240.
[20] HENON M. A two-dimensional mapping with a strange attractor [J].Communications in Mathematical Physics, 1976, 50(1): 69-77.
[21] 丁刚,钟诗胜．基于时变阈值过程神经网络的太阳黑子数预测 [J]．物理学报,2007, 56(2): 1224-1230.
[22] 唐洁．灰色拓扑理论在太阳黑子数年均值预测中的应用 [J]．天文学报,2014, 55(2): 137-143.
[23] 王曦, 毕贵红,唐京瑞．基于\,EMD\,的太阳黑子时间序列组合预测模型 [J]．计算机工程,2011, 37(24): 176-179.
[24] The solar influences data analysis center of the royal observatory of belgium [R/OL]. [2015-05-01] http://sidc.oma.be/sunspot-data/.2008.
/
| 〈 |
|
〉 |
中国综合性科技类核心期刊(北大核心)