简单来说，偏差允许学习/存储越来越多的权重变化……(注:有时给出一些阈值)。无论如何，更多的变化意味着偏差为模型的学习/存储权重添加了更丰富的输入空间表示。(更好的权重可以增强神经网络的猜测能力)

例如，在学习模型中，假设/猜测在给定输入的情况下被y=0或y=1所限制，可能是在某个分类任务中……例如，对于某些x=(1,1)，有些y=0，对于某些x=(0,1)，有些y=1。(假设/结果的条件是我上面谈到的阈值。注意，我的示例设置输入X为每个X =一个双值或2值向量，而不是Nate的某个集合X的单值X输入)。

如果我们忽略偏差，许多输入可能最终由许多相同的权重表示(即学习的权重大多出现在原点附近(0,0)。 这样，模型就会被限制在较差的好权重上，而不是在有偏差的情况下更好地学习更多的好权重。(学习不好的权重会导致更差的猜测或神经网络的猜测能力下降)

因此，模型既要在靠近原点的地方学习，又要在阈值/决策边界内尽可能多的地方学习，这是最优的。有了偏差，我们可以使自由度接近原点，但不限于原点的直接区域。

偏差决定了你的体重旋转的角度。

在二维图表中，权重和偏差可以帮助我们找到输出的决策边界。

假设我们需要构建一个AND函数，输入(p)-输出(t)对应该是

{p=[0，0]， t=0}，{p=[1，0]， t=0}，{p=[0，1]， t=0}，{p=[1，1]， t=1}

现在我们需要找到一个决策边界，理想的边界应该是:

看到了吗?W垂直于边界。因此，我们说W决定了边界的方向。

但是，第一次找到正确的W是很困难的。大多数情况下，我们随机选择原始W值。因此，第一个边界可能是这样的:

现在边界平行于y轴。

我们要旋转边界。如何?

通过改变W。

因此，我们使用学习规则函数W'=W+P:

W'=W+P等价于W'=W+ bP，而b=1。

因此，通过改变b(bias)的值，就可以决定W’和W之间的夹角，这就是“ANN的学习规则”。

你也可以阅读Martin T. Hagan / Howard B. Demuth / Mark H. Beale的《神经网络设计》，第4章“感知器学习规则”。

偏差不是一个神经网络项。这是一个通用的代数术语。

Y = M*X + C(直线方程)

现在如果C(Bias) = 0，那么这条线将始终经过原点，即(0,0)，并且只依赖于一个参数，即M，这是斜率，所以我们有更少的东西可以处理。

C，也就是偏置取任意数，都能移动图形，因此能够表示更复杂的情况。

在逻辑回归中，目标的期望值通过链接函数进行转换，以限制其值为单位区间。这样，模型预测可以被视为主要结果概率，如下所示:

Wikipedia上的Sigmoid函数

这是神经网络映射中打开和关闭神经元的最后一个激活层。在这里，偏差也发挥了作用，它灵活地平移曲线，帮助我们绘制模型。

Two different kinds of parameters can be adjusted during the training of an ANN, the weights and the value in the activation functions. This is impractical and it would be easier if only one of the parameters should be adjusted. To cope with this problem a bias neuron is invented. The bias neuron lies in one layer, is connected to all the neurons in the next layer, but none in the previous layer and it always emits 1. Since the bias neuron emits 1 the weights, connected to the bias neuron, are added directly to the combined sum of the other weights (equation 2.1), just like the t value in the activation functions.1

它不实用的原因是，您同时调整权重和值，因此对权重的任何更改都会抵消对先前数据实例有用的值的更改……在不改变值的情况下添加偏置神经元可以让你控制层的行为。

此外，偏差允许您使用单个神经网络来表示类似的情况。考虑由以下神经网络表示的AND布尔函数:

(来源:aihorizon.com)

W0对应于b。 W1对应x1。 W2对应于x2。

A single perceptron can be used to represent many boolean functions. For example, if we assume boolean values of 1 (true) and -1 (false), then one way to use a two-input perceptron to implement the AND function is to set the weights w0 = -3, and w1 = w2 = .5. This perceptron can be made to represent the OR function instead by altering the threshold to w0 = -.3. In fact, AND and OR can be viewed as special cases of m-of-n functions: that is, functions where at least m of the n inputs to the perceptron must be true. The OR function corresponds to m = 1 and the AND function to m = n. Any m-of-n function is easily represented using a perceptron by setting all input weights to the same value (e.g., 0.5) and then setting the threshold w0 accordingly. Perceptrons can represent all of the primitive boolean functions AND, OR, NAND ( 1 AND), and NOR ( 1 OR). Machine Learning- Tom Mitchell)

阈值是偏置，w0是与偏置/阈值神经元相关的权重。

在我研究的所有ML书籍中，W总是被定义为两个神经元之间的连通性指数，这意味着两个神经元之间的连通性更高。

放电神经元向目标神经元或Y = w * X传递的信号越强，为了保持神经元的生物学特性，我们需要保持1 >= w >= -1，但在实际回归中，w最终会变成| w | >=1，这与神经元的工作方式相矛盾。

因此，我提出W = cos(theta)，而1 >= |cos(theta)|， Y= a * X = W * X + b而a = b + W = b + cos(theta)， b是一个整数。

下面是一些进一步的插图，展示了一个简单的2层前馈神经网络在一个双变量回归问题上的结果。权重被随机初始化，并使用标准的ReLU激活。正如我前面的答案所总结的那样，没有偏差，relu网络无法在(0,0)处偏离零。