机器学习(四) 人工神经网络(3)

多层神经网络

日常生活中大部分问题其实都是非线性可分的，就不能单纯的去构造直线的分类面，或者超平面的分类面去分开它，应该用非线性的函数集合去分开非线性的样本。这是多层神经网络所做的事情，下面为一个最简单的神经网络

设输入为，其包含两层。两层中间的函数，是一个非线性的函数。如果不增加这个非线性函数，会导致什么结果呢，会导致它仍然是非线性的。下面将上面的神经网络“缕一缕”

从上面式子可以发现，只有是非线性函数，整个模型才会是非线性的，才能处理一些非线性的问题。 那么引进的非线性的函数是什么呢？最初的非线性函数为阶跃函数，如下

有人(尚未知道是谁)证明，如果引入该阶跃函数，将可以解决所有非线性问题。 下面介绍一个定理

❝

「定理」：三层网络可以模拟所有的决策面

❞

下面用具体的例子来说明

接下来，构造两层的神经网络来模拟这个决策面，我们的做法如下

规定,如果落在这个平面内，那么,这样，经过非线性函数变化后，其值为1，如果落在内，则，这样经过非线性变化后，其值为0，这样只要落在平面内，最后输出的值一定大于0，否则小于0。