ELM和深度学习（Extreme Learning Machines and Deep Learning)

回顾神经网络的发展史，可以发现神经网络的发展基本是个曲折前进的历史。

1950年代Rosenblatt提出多层感知器(Perceptron)，许多人怀疑和争论，遭遇许多不解。围绕Perceptron的争论进而引发1970年代的"AI寒冬"(AI Winter)。

1986年的Back-Propagation（BP）算法的推出让神经网络研究得以复兴，BP算法的研究到1990年代中达到顶峰，之后人们开始逐步开始怀疑它的价值和神经网络的意义。期间也有争论到底谁先发明了BP。

SVM在1995年推出，几乎等了10年才大范围展开应用，尤其得益于SVM的工具包的推出（比如代表性的LIBSVM），据说有些人对SVM也不认同，觉得和生物学习背道而驰。很多人认为SVM和神经网络是对立的，其实SVM也是神经网络的一种实现方法。

深度学习的基本要素研究在1980年代开始展开，"潜伏"20年后到本世纪初才活跃起来。据说早期的文章也很难发表，但是现在很多人对深度学习还是不屑一顾。

在主要神经网络技术的发展上，好多情况下，当一个技术兴起时，有人就想彻底否定以前的技术，其实好多技术都是相关的，相辅相成的。没有早期的BP和SVM，估计我们许多应用都不会出现。（对他们的历史贡献评价详见《G.-B. Huang, “An Insight into Extreme Learning Machines: Random Neurons, Random Features and Kernels,”Cognitive Computation, vol. 6, pp. 376-390, 2014.》//www.ntu.edu.sg/home/egbhuang/pdf/ELM-Randomness-Kernel.pdf

ELM的发展也是从不信到怀疑，到似曾相识，到大彻大悟的过程。ELM和深度学习是相辅相成的，有些应用将两者结合收到很好的结果，比如将CNN用于特征提取，ELM用于做分类器。其实从长远角度看，更多的是ELM和Deep Learning的交融汇合（Convergence）。另一方面Convolution Neural Network （CNN）虽然有生物学上的相关意义，数学理论上的证明还不多，ELM理论正好填补这个空白，并且推向更广泛的Local Receptive Fiekds概念。（详见《G.-B. Huang, Z. Bai, L. L. C. Kasun, and C. M. Vong, “Local Receptive Fields Based Extreme Learning Machine,”IEEE Computational Intelligence Magazine, vol. 10, no. 2, pp. 18-29, 2015.》//www.ntu.edu.sg/home/egbhuang/pdf/ELM-LRF.pdf 和 《G.-B. Huang, “What are Extreme Learning Machines? Filling the Gap between Frank Rosenblatt's Dream and John von Neumann's Puzzle,” (in press) Cognitive Computation, April 2015.》//www.ntu.edu.sg/home/egbhuang/pdf/ELM-Rosenblatt-Neumann.pdf）

理解和认识有时需要一个漫长的过程，研究是信念问题，不是随风起舞。

以前的神经网络研究充满了尖锐的否定过程，希望我们摆脱这个恶性循环，兼容并蓄，取长补短，唾弃阴险匿名诬陷，鼓励非情绪化的良性讨论。