下面是一些进一步的插图，展示了一个简单的2层前馈神经网络在一个双变量回归问题上的结果。权重被随机初始化，并使用标准的ReLU激活。正如我前面的答案所总结的那样，没有偏差，relu网络无法在(0,0)处偏离零。

当您使用ann时，您很少了解您想要学习的系统的内部结构。有些东西没有偏见是学不来的。例如，看一下下面的数据:(0,1)，(1,1)，(2,1)，基本上是一个将任何x映射到1的函数。

如果你有一个单层网络(或线性映射)，你无法找到解决方案。然而，如果你有偏见，那就无关紧要了!

在理想情况下，偏差还可以将所有点映射到目标点的平均值，并让隐藏的神经元模拟该点的差异。

一个更简单的理解偏差的方法是:它在某种程度上类似于线性函数的常数b

y = ax + b

它允许你上下移动这条线，以便更好地将预测与数据相匹配。

如果没有b，直线总是经过原点(0,0)你可能会得到一个较差的拟合。

偏见是我们的锚。对我们来说，这是一种设定底线的方式，我们不会低于这个标准。从图的角度来看，y=mx+b就像这个函数的y轴截距。

输出=输入乘以权重值并加上偏置值，然后应用激活函数。

Two different kinds of parameters can be adjusted during the training of an ANN, the weights and the value in the activation functions. This is impractical and it would be easier if only one of the parameters should be adjusted. To cope with this problem a bias neuron is invented. The bias neuron lies in one layer, is connected to all the neurons in the next layer, but none in the previous layer and it always emits 1. Since the bias neuron emits 1 the weights, connected to the bias neuron, are added directly to the combined sum of the other weights (equation 2.1), just like the t value in the activation functions.1

它不实用的原因是，您同时调整权重和值，因此对权重的任何更改都会抵消对先前数据实例有用的值的更改……在不改变值的情况下添加偏置神经元可以让你控制层的行为。

此外，偏差允许您使用单个神经网络来表示类似的情况。考虑由以下神经网络表示的AND布尔函数:

(来源:aihorizon.com)

W0对应于b。 W1对应x1。 W2对应于x2。

A single perceptron can be used to represent many boolean functions. For example, if we assume boolean values of 1 (true) and -1 (false), then one way to use a two-input perceptron to implement the AND function is to set the weights w0 = -3, and w1 = w2 = .5. This perceptron can be made to represent the OR function instead by altering the threshold to w0 = -.3. In fact, AND and OR can be viewed as special cases of m-of-n functions: that is, functions where at least m of the n inputs to the perceptron must be true. The OR function corresponds to m = 1 and the AND function to m = n. Any m-of-n function is easily represented using a perceptron by setting all input weights to the same value (e.g., 0.5) and then setting the threshold w0 accordingly. Perceptrons can represent all of the primitive boolean functions AND, OR, NAND ( 1 AND), and NOR ( 1 OR). Machine Learning- Tom Mitchell)

阈值是偏置，w0是与偏置/阈值神经元相关的权重。

偏差决定了你的体重旋转的角度。

在二维图表中，权重和偏差可以帮助我们找到输出的决策边界。

假设我们需要构建一个AND函数，输入(p)-输出(t)对应该是

{p=[0，0]， t=0}，{p=[1，0]， t=0}，{p=[0，1]， t=0}，{p=[1，1]， t=1}

现在我们需要找到一个决策边界，理想的边界应该是:

看到了吗?W垂直于边界。因此，我们说W决定了边界的方向。

但是，第一次找到正确的W是很困难的。大多数情况下，我们随机选择原始W值。因此，第一个边界可能是这样的:

现在边界平行于y轴。

我们要旋转边界。如何?

通过改变W。

因此，我们使用学习规则函数W'=W+P:

W'=W+P等价于W'=W+ bP，而b=1。

因此，通过改变b(bias)的值，就可以决定W’和W之间的夹角，这就是“ANN的学习规则”。

你也可以阅读Martin T. Hagan / Howard B. Demuth / Mark H. Beale的《神经网络设计》，第4章“感知器学习规则”。