欢迎光od体育官网官网!

人工智能之Hopfield神经网络(HNN)

发布时间:2021-11-01 人气:

本文摘要:神经网络在1980年代兴起得益于物理学家约翰·霍普菲尔德(Hopfield)。1982年,霍普菲尔德明确提出了一种新的神经网络,可以解决问题众多类模式识别问题,还可以得出一类人组优化问题的近似于解法。 这种神经网络模型后被称作Hopfield神经网络。Hopfield神经网络是一种循环神经网络[请求参看公众号“科技优化生活”之人工智能(23)],由约翰·霍普菲尔德发明者,他将物理学的涉及思想(动力学)引进到神经网络的结构中,从而构成了Hopfield神经网络。

od体育官网

神经网络在1980年代兴起得益于物理学家约翰·霍普菲尔德(Hopfield)。1982年,霍普菲尔德明确提出了一种新的神经网络,可以解决问题众多类模式识别问题,还可以得出一类人组优化问题的近似于解法。

这种神经网络模型后被称作Hopfield神经网络。Hopfield神经网络是一种循环神经网络[请求参看公众号“科技优化生活”之人工智能(23)],由约翰·霍普菲尔德发明者,他将物理学的涉及思想(动力学)引进到神经网络的结构中,从而构成了Hopfield神经网络。

贝尔实验室在1987年顺利在Hopfield神经网络的基础上研制出了神经网络芯片。Hopfield神经网络是一种迭代神经网络,从输入到输出皆有对系统相连,每一个神经元跟所有其他神经元相互连接,又称作仅有互联网络。Hopfield神经网络阐述:Hopfield神经网络HNN(HopfiledNeuralNetwork)是一种融合存储系统和二元系统的神经网络。

它确保了向局部大于的发散,但发散到错误的局部极小值(localminimum),而非全局大于(globalminimum)的情况也有可能再次发生。Hopfield神经网络也获取了仿真人类记忆的模型。Hopfield神经网络是对系统神经网络,其输入末端又不会对系统到其输出末端,在输出的鼓舞下,其输入不会产生大大的状态变化,这个对系统过程不会仍然重复展开。

假如Hopfield神经网络是一个发散的平稳网络,则这个对系统与递归的计算出来过程所产生的变化更加小,一旦超过了平稳的平衡状态,Hopfield网络就不会输入一个平稳的恒值。对于一个Hopfield神经网络来说,关键在于确认它在平稳条件下的权系数。

Hopfield神经网络分成两种:1)线性型Hopfield神经网络;2)连续型Hopfield神经网络。线性型Hopfield神经网络:Hopfield最先明确提出的网络是二值神经网络,各神经元的激励函数为阶跃函数或双极值函数,神经元的输出、输入只取{0,1}或者{-1,1},所以也称作线性型Hopfield神经网络DHNN(DiscreteHopfiledNeuralNetwork)。在DHNN中,所使用的神经元是二值神经元;因此,所输入的线性值1和0或者1和-1分别回应神经元正处于激活状态和诱导状态。

线性Hopfield神经网络DHNN是一个单层网络,有n个神经元节点,每个神经元的输入皆收到其它神经元的输出。各节点没自对系统。每个节点都可正处于一种有可能的状态(1或-1),即当该神经元蒙受的性刺激多达其阀值时,神经元就正处于一种状态(比如1),否则神经元就一直正处于另一状态(比如-1)。

DHNN有两种工作方式:1)串行(异步)方式:在时刻t时,只有某一个神经元j的状态发生变化,而其他n-1个神经元的状态恒定,称作串行工作方式。并且有:2)分段(实时)方式:在任一时刻t,所有的神经元的状态都产生了变化,称作分段工作方式。并且有:DHNN稳定性:假设一个DHNN,其状态为Y(t):如果对于任何Δt0,当神经网络从t=0开始,有初始状态Y(0)。

经过受限时刻t,有:Y(t+Δt)=Y(t)则指出该DHNN网络是平稳的,称之为其状态为为稳定状态。DHNN网络的稳定状态X就是网络的更有子(attractor),用作存储记忆信息。串行方式下的稳定性称作串行稳定性;分段方式下的稳定性称作分段稳定性。

DHNN是一种多输出、所含阈值的二值非线性动态系统。在动态系统中,均衡稳定状态可以解读为系统某种形式的能量函数(energyfunction)在系统运营过程中,其能量大大增加,最后正处于最小值。

DHNN平稳的充分条件:如果DHNN的权系数矩阵W是一个平面矩阵,并且对角线元素为0,则这个网络是平稳的。即在权系数矩阵W中,如果:则该DHNN是平稳的。W是一个平面矩阵仅有是充分条件,不是必要条件。

DHNN误解记忆功能:DHNN一个最重要功能是可以用作误解记忆,即误解存储器,这是人类的智能特点之一。要构建误解记忆,DHNN必需具备两个基本条件:1)网络能发散到平稳的平衡状态,并以其作为样本的记忆信息;2)具备回想能力,需要从某一残缺不全的信息回忆起所属的原始的记忆信息。DHNN构建误解记忆过程分成两个阶段:1)自学记忆阶段:设计者通过某一设计方法确认一组适合的权值,使DHNN记忆希望的平稳平衡点。

2)误解回想阶段:DHNN的工作过程。记忆是分布式的,而误解是动态的。

对于DHNN,由于网络状态是受限的,不有可能经常出现浑沌状态。DHNN局限性:1)记忆容量的有限性;2)伪平稳点的误解与记忆;3)当记忆样本较相似时,网络无法一直回想出有准确的记忆等;4)DHNN均衡平稳点不可以给定设置,也没一个标准化的方式来事前告诉均衡平稳点。连续型Hopfield神经网络:倒数Hopfield神经网络CHNN(ContinuousHopfieldNeuralNetwork)与DHNN在流形结构上是完全一致的。CHNN稳定性:CHNN平稳条件拒绝:CHNN与DHNN不同之处在于其函数g不是阶跃函数,而是S型的连续函数。

一般所取:CHNN在时间上是倒数的,所以CHNN网络中各个神经元是正处于实时方式工作的。当CHNN网络的神经元传递函数g是倒数且有界的(如Sigmoid函数),并且CHNN网络的权值系数矩阵平面,则这个CHNN网络是平稳的。

优化问题:在实际应用于中的系统,如果其优化问题可以用能量函数E(t)作为目标函数,那么CHNN网络和优化问题必要对应。这样,大量优化问题都可以用CHNN网络来解法。这也是Hopfield网络用作神经计算的基本原因。CHNN与DHNN主要区别:CHNN与DHNN的主要差异在于:CHNN神经元转录函数用于Sigmoid函数,而DHNN神经元转录函数用于了软无限大函数。

Hopfield神经网络应用:Hopfield神经网络早期应用于还包括按内容传输速率存储器,模数转换及优化组合计算出来等。具备代表意义的是解决问题TSP问题,1985年Hopfield和Tank用Hopfield网络解法N=30的TSP问题,从而创立了神经网络优化的新途径。

除此之外,Hopfield神经网络在人工智能之机器学习、误解记忆、模式识别、优化计算出来、VLSI和光学设备的分段构建等方面具有广泛应用。结语:Hopfield神经网络(HNN)是一种具备循环、迭代特性,融合存储和二元系统的神经网络。

由约翰·霍普菲尔德在1982年发明者。对于一个Hopfield神经网络来说,关键在于确认它在平稳条件下的权系数。Hopfield神经网络分成线性型和连续型两种,主要差异在于转录函数的有所不同。

Hopfield神经网络(HNN)获取了仿真人类记忆的模型。它在人工智能之机器学习、误解记忆、模式识别、优化计算出来、VLSI和光学设备的分段构建等方面具有广泛应用。


本文关键词:人工智能,之,Hopfield,神经网络,od体育官网,HNN,神经网络,在

本文来源:od体育官网-www.syrinxchina.cn