本文内容
- 概述
- 发展
- 应用
- 热点
- 术语
最近看《BBC：人体奥秘》，这让我想起了人工智能和神经网络。我们的大脑有 1000 亿个脑细胞，每个脑细胞都会与 1 万个不同的脑细胞相互连接。记得，小时候，父母经常跟我们玩躲猫猫。那时，当父母从我们的眼前突然消失时，我们的大脑真的认为父母不见了。可三个月后，我们的大脑知道，如果一个人在眼前消失，可能并不意味着彻底消失。最不可思议的变化是在青春期，期间，大脑会损失之前 40% 的连接，修剪掉那些不必要的连接。我还想起另一个纪录片《国家地理：旅行到宇宙边缘》。
无论你，我，他，每个人都独一无二的、精彩的世界，是一个宇宙。
概述
人工神经网络（Artificial Neural Network，ANN），简称神经网络（NN），其构筑理念受到生物（人或其他动物）神经网络的运作启发，是一种模仿生物神经网络的结构和功能的数学模型（计算模型）。神经网络由大量的人工神经元联结，并进行计算。大多数情况下，人工神经网络能根据外界信息改变内部结构，是一种自适应系统。现代神经网络是一种非线性统计性数据建模工具，常用来对输入—输出间复杂的关系进行建模，或用来探索数据的模式。
目前，神经网络模型有十种之多，典型的包括 BP 网络、Hopfield 网络、ART 网络和 Kohonen 网络。
发展
- 1943 年，心理学家 W.S.McCulloch 和数理逻辑学家 W.Pitts 建立了神经网络和数学模型的 MP 模型。他们通过 MP 模型提出了神经元的形式化数学描述和网络结构方法，并证明了单个神经元能执行逻辑功能，从而开创了人工神经网络研究的时代。这是神经网络最早的描述。
- 1949年，心理学家提出了突触联系强度可变的设想。
- 20 世纪 60 年代，神经网络进一步发展，提出了更完善的神经网络模型，其中，包括感知器和自适应线性元件等。M.Minsky 等人仔细分析了以感知器为代表的神经网络系统的功能及局限后，于 1969 年出版了《Perceptron》，指出感知器不能解决高阶谓词问题。该论点极大影响了神经网络的研究，加之当时串行计算机和人工智能所取得的成就，掩盖了发展新型计算机和人工智能新途径的必要性和迫切性，使人工神经网络的研究处于低潮。期间，一些人工神经网络的研究者仍然致力于这一研究，提出了适应谐振理论（ART 网）、自组织映射、认知机网络，同时进行了神经网络数学理论的研究。以上研究为神经网络的研究和发展奠定了基础。
- 1982 年，美国加州工学院物理学家 J.J.Hopfield 提出了Hopfield 神经网格模型，引入了“计算能量”概念，给出了网络稳定性判断。 1984年，他又提出了连续时间 Hopfield 神经网络模型，为神经计算机的研究做了开拓性的工作，开创了神经网络用于联想记忆和优化计算的新途径，有力地推动了神经网络的研究，
- 1985 年，又有学者提出了波耳兹曼模型，在学习中采用统计热力学模拟退火技术，保证整个系统趋于全局稳定点。
- 1986 年进行认知微观结构地研究，提出了并行分布处理的理论。
- 20 世纪 90 年代初，又有脉冲耦合神经网络模型被提出。
应用
神经网络在许多实际领域中取得了显著的成效，如下所示：
- 自动控制领域。主要有系统建模和辨识，参数整定，极点配置，内模控制，优化设计，预测控制，最优控制，滤波与预测容错控制等。
- 处理组合优化问题。解决旅行商问题，最大匹配问题，装箱问题和作业调度问题。
- 图像处理。对图像进行边缘监测、图像分割、图像压缩和图像恢复。
- 信号处理。能分别对通讯、语音、心电和脑电信号进行处理分类；可用于海底声纳信号的检测与分类，在反潜、扫雷等方面得到应用。
- 模式识别。已成功应用于手写字符、汽车牌照、指纹和声音识别，还可用于目标的自动识别和定位、机器人传感器的图像识别以及地震信号的鉴别等。
- 机器人控制。对机器人眼手系统位置进行协调控制，用于机械手的故障诊断及排除、智能自适应移动机器人的导航。
- 卫生保健、医疗。如通过训练自主组合的多层感知器，可以区分正常心跳和非正常心跳、基于 BP 网络的波形分类和特征提取在计算机临床诊断中的应用。
- 焊接领域。国内外在参数选择、质量检验、质量预测和实时控制方面都有研究，部分成果已得到应用。
- 经济。能对商品价格、股票价格和企业的可信度等进行短期预测。
另外，在数据挖掘、电力系统、交通、军事、矿业、农业和气象等方面亦有应用。
热点
- 神经网络与遗传算法的结合
这主要体现在以下几个方面：网络连接权重的进化训练；网络结构的进化计算；网络结构和连接权重的同时进化；训练算法的进化设计。基于进化计算的神经网络设计和实现已在众多领域得到应用，如模式识别、机器人控制、财政等，并取得了较传统神经网络更好的性能和结果。但从总体上看，这方面研究还处于初期阶段，理论方法有待于完善规范，应用研究有待于加强提高。神经网络与进化算法相结合的其他方式也有待于进一步研究和挖掘。
- 神经网络与灰色系统的结合
灰色系统理论是一门极有生命力的系统科学理论。自 1982 年华中理工大学的邓聚龙教授提出灰色系统后迅速发展，以初步形成以灰色关联空间为基础的分析体系，以灰色模型为主体的模型体系，以灰色过程及其生存空间为基础与内的方法体系，以系统分析、建模、预测、决策、控制、评估为纲的技术体系。目前，国内外对灰色系统的理论和应用研究已经广泛开展，受到学者的普遍关注。灰色系统理论在在处理不确定性问题上有其独到之处，并能以系统的离散时序建立连续的时间模型，适合于解决无法用传统数字精确描述的复杂系统问题。
神经网络与灰色系统的结合方式有：
- 神经网络与灰色系统简单结合；
- 串联型结合；
- 用神经网络增强灰色系统；
- 用灰色网络辅助构造神经网络；
- 神经网络与灰色系统的完全融合。
- 神经网络与专家系统的结合
基于神经网络与专家系统的混合系统的基本出发点立足于将复杂系统分解成各种功能子系统模块，各功能子系统模块分别由神经网络或专家系统实现。其研究的主要问题包括：混合专家系统的结构框架和选择实现功能子系统方式的准则两方面。由于该混合系统从根本上抛开了神经网络和专家系统的技术限制，是当前研究的热点。把粗集神经网络专家系统用于医学诊断，表明其相对于传统方法的优越性。
- 神经网络与模糊逻辑的结合
模糊逻辑是一种处理不确定性、非线性问题的有力工具。它比较适合于表达那些模糊或定性的知识，其推理方式比较类似于人的思维方式，这都是模糊逻辑的优点。但它缺乏有效的自学习和自适应能力。
而将模糊逻辑与神经网络结合，则网络中的各个结点及所有参数均有明显的物理意义，因此这些参数的初值可以根据系统的模糊或定性的知识来加以确定，然后利用学习算法可以很快收敛到要求的输入输出关系，这是模糊神经网络比单纯的神经网络的优点所在。同时，由于它具有神经网络的结构，因而参数的学习和调整比较容易，这是它比单纯的模糊逻辑系统的优点所在。模糊神经网络控制已成为一种趋势，它能够提供更加有效的智能行为、学习能力、自适应特点、并行机制和高度灵活性，使其能够更成功地处理各种不确定的、复杂的、不精确的和近似的控制问题。
模糊神经控制的未来研究应集中于以下几个方面：
- 研究模糊逻辑与神经网络的对应关系，将对模糊控制器的调整转化为等价的神经网络的学习过程，用等价的模糊逻辑来初始化神经网络；
- 完善模糊神经控制的学习算法，以提高控制算法的速度与性能，可引入遗传算法、BC算法中的模拟退火算法等，以提高控制性能；
- 模糊控制规则的在线优化，可提高控制器的实时性与动态性能；
- 需深入研究系统的稳定性、能控性、能观性以及平衡吸引子、混沌现象等非线性动力学特性。
关于神经网络与模糊逻辑相结合的研究已有很多，如氩弧焊、机器人控制等。
- 神经网络与小波分析的结合
小波变换是对Fourier分析方法的突破。它不但在时域和频域同时具有良好的局部化性质，而且对低频信号在频域和对高频信号在时域里都有很好的分辨率，从而可以聚集到对象的任意细节。
利用小波变换的思想初始化小波网络，并对学习参数加以有效约束，采用通常的随机梯度法分别对一维分段函数、二维分段函数和实际系统中汽轮机压缩机的数据做了仿真试验，并与神经网络、小波分解的建模做了比较，说明了小波网络在非线性系统黑箱建模中的优越性。小波神经网络用于机器人的控制，表明其具有更快的收敛速度和更好的非线性逼近能力。
术语
- 专家系统
专家系统是早期人工智能的一个重要分支，可以看作是一类具有专门知识和经验的电脑智能程序系統，一般采用人工智慧中的知识表示和知识推理技术來模拟通常由领域专家才能解決的复杂问题。一般来说，
专家家系統 = 知识库 + 推理机器
因此，专家系统也称为基于知识的系统。
著名的专家系统
ExSys - 第一个商用专家系统。
Mycin - 诊断系统，其表现出人意料的好，误诊率达到专家级水平，超出一些诊所的医生。
Siri - 通过辨识语音作业的专家系统，由苹果公司收购并推广到自家产品内作为一个人秘书功能。
- 知识表示
知识表示法（知识重呈/知识表现）是认知科学和人工智能两个领域共同存在的问题。在认知科学里，它关系到人类如何储存和处理资料。在人工智能里，其主要目标为储存知识，让程式能够处理，达到人类的智慧。目前仍然没有一个完美的答案。
从人工智能角度，知识表示涉及如下问题：
- 知识的本质是什么？
- 人类如何表示知识？
- 表示法是只用在某个领域，还是所有领域通用？
- 表示方案（representation scheme）的表现能力表现力如何？
- 表示法应该是描述性的，或者是程序性的？
- 遗传算法（Genetic algorithm）
遗传算法是计算数学中用于解决最优化的搜索算法，是进化算法的一种。进化算法最初是借鉴了生物学中的一些现象发展起来的，这些现象包括遗传、突变、自然选择以及杂交等。
与传统的爬山算法相比，遗传算法能够跳出局部最优，而找到全局最优点。而且遗传算法允许使用非常复杂的适应度函数（或者称目标函数），并对变量的变化范围加以限制。而传统的爬山算法，对变量范围进行限制意味着复杂得多的解决过程。
遗传算法擅长解决全局最优化问题，如时间表安排问题。很多安排时间表的软件都使用遗传算法。遗传算法还经常被用于解决实际工程问题。
像动态规划的思想是用局部最优来解全局最优，而贪婪算法告诉我们，局部最优不一定是全局最优。遗传算法保证了全局最优。
- 灰色系统（Gray System）
灰色系统是指研究者对于系统实现其输入—输出关系与过程只有部分认识，尚无全面认识。由于人们所研究和处理的大量系统(如社会、经济、文化、教育等系统)都可视为灰色系统。一般專家系統執行的求解任務是知識密集型的。
- 模糊逻辑控制 (Fuzzy Logic Control)
模糊逻辑控制，简称模糊控制，是以模糊集合论、模糊语言变量和模糊逻辑推理为基础的一种计算机数字控制技术。实质上，模糊控制是一种非线性控制，从属于智能控制的范畴。其一大特点是，既具有系统化的理论，又有大量实际应用背景。
1965年，美国的L.A.Zadeh创立了模糊集合论；1973年他给出了模糊逻辑控制的定义和相关的定理。
1974年，英国的E.H.Mamdani首先用模糊控制语句组成模糊控制器，并把它应用于锅炉和蒸汽机的控制，在实验室获得成功。这一开拓性的工作标志着模糊控制论的诞生。
模糊控制最初在西方的阻力较大，而在东方，尤其是日本，却发展迅速。近 20 多年来，模糊控制无论是理论，还是技术，都有了长足进步，成为自动控制领域中一个非常活跃而又硕果累累的分支。其典型应用，如家用电器的模糊洗衣机、空调、微波炉、吸尘器、照相机和摄录机等；工业控制领域的水净化处理、发酵过程、化学反应釜、水泥窑炉等的模糊控制；其他方面如地铁靠站停车、汽车驾驶、电梯、自动扶梯、蒸汽引擎以及机器人的模糊控制等。
- 小波分析（wavelet analysis）
小波分析是傅里叶（Fourier）变换的局部化思想。有人称它为“数学显微镜”。术语“小波（Wavelet）”，顾名思义，就是小的波形。所谓“小”是指它具有衰减性；“波”则是指它的波动性。与傅里叶变换相比，小波变换是时间（空间）频率的局部化分析，它通过伸缩平移运算对信号（函数）逐步进行多尺度细化，最终达到高频处时间细分，低频处频率细分，能自动适应时频信号分析的要求，从而可聚焦到信号的任意细节，解决了 Fourier 变换的困难问题，成为继 Fourier 变换以来科学方法上的重大突破。
傅里叶（Fourier）变换
傅里叶变换能将满足一定条件的某个函数表示成三角函数，或者它们积分的线性组合。在不同的研究领域，傅里叶变换具有多种不同的变体形式，如连续傅里叶变换和离散傅里叶变换。最初，傅里叶分析是作为热过程的解析分析的工具被提出的。
当法国热学工程师 J.B.J.Fourier 于 1807 年提出任一函数都能展开成三角函数的无穷级数，但未得到著名数学家 J.L.Lagrange、P.S.Laplace 和 A.M.Legendre 的认同。
小波变换是法国石油信号处理的工程师 J.Morlet 于 1974 年首先提出，通过物理的直观和信号处理的实际需要经验的建立了反演公式。早在 70 年代，A.Calderon 表示定理的发现、Hardy 空间的原子分解和无条件基的深入研究为小波变换奠定理论基础，J.O.Stromberg 还构造了历史上非常类似于现在的小波基。1986 年著名数学家 Y.Meyer 偶然构造出了一个真正的小波基，并与 S.Mallat 合作建立了构造小波基的同意方法枣多尺度分析之后，小波分析才开始蓬勃发展。其中，比利时女数学家 I.Daubechies 撰写的《小波十讲（Ten Lectures on Wavelets）》对小波的普及起了重要的推动作用。