萌主天下无敌提示您:看后求收藏(350中文350zw.com),接着再看更方便。
它或者从0变到,当然也可能维持不变。这个问题的关键在于:输入和输出都是二进制的,只能是0或者。
如果把整个网络看成一个函数,那么这个函数不是连续的。
因此,为了让训练成为可能,我们需要一个输入和输出能够在实数上保持连续的神经网络。于是,这就出现了sigid神经元。
sigid神经元是现代神经网络经常使用的基本结构。它与感知器的结构类似,但有两个重要的区别。
第一,它的输入不再限制为0和,而可以是任意0~之间的实数。
第二,它的输出也不再限制为0和,而是将各个输入的加权求和再加上偏置参数,经过一个称为sigid函数的计算作为输出。
具体来说,假设z=x+2x2+3x3+...+b,那么输出utput=σ,其中:σ=/。
σ是一个平滑、连续的函数。而且,它的输出也是0~之间的实数,这个输出值可以直接作为下一层神经元的输入,保持在0~之间。
可以想象,在采用sigid神经元组装神经网络之后,网络的输入和输出都变为连续的了,也就是说,当我们对某个参数的值进行微小的改变的时候,它的输出也只是产生微小的改变。这样就使得逐步调整参数值的训练成为可能。