如何在Python中实现Softmax函数

从Udacity的深度学习课程中，y_i的softmax仅仅是指数除以整个Y向量的指数之和:

其中S(y_i)是y_i的软最大函数e是指数函数j是no。输入向量Y中的列。

我试过以下几种方法:

import numpy as np

def softmax(x):
    """Compute softmax values for each sets of scores in x."""
    e_x = np.exp(x - np.max(x))
    return e_x / e_x.sum()

scores = [3.0, 1.0, 0.2]
print(softmax(scores))

[ 0.8360188   0.11314284  0.05083836]

但建议的解决方案是:

def softmax(x):
    """Compute softmax values for each sets of scores in x."""
    return np.exp(x) / np.sum(np.exp(x), axis=0)

它产生与第一个实现相同的输出，尽管第一个实现显式地取每列与Max的差值，然后除以和。

有人能用数学方法解释一下吗?一个是对的，另一个是错的?

实现在代码和时间复杂度方面是否相似?哪个更有效率?

当前回答

在上面的回答中已经回答了很多细节。Max被减去以避免溢出。我在这里添加了python3中的另一个实现。

import numpy as np
def softmax(x):
    mx = np.amax(x,axis=1,keepdims = True)
    x_exp = np.exp(x - mx)
    x_sum = np.sum(x_exp, axis = 1, keepdims = True)
    res = x_exp / x_sum
    return res

x = np.array([[3,2,4],[4,5,6]])
print(softmax(x))

2017-12-15 10:04:54

其他回答

这将泛化并假设您正在规范化尾随维度。

def softmax(x: np.ndarray) -> np.ndarray:
    e_x = np.exp(x - np.max(x, axis=-1)[..., None])
    e_y = e_x.sum(axis=-1)[..., None]
    return e_x / e_y

2020-09-14 19:34:22

我想说，虽然从数学上讲，这两种方法都是正确的，但就实现而言，第一个方法更好。在计算softmax时，中间值可能会变得很大。两个大数的除法在数值上是不稳定的。这些笔记(来自斯坦福大学)提到了一个归一化技巧，这基本上就是你正在做的事情。

2016-02-08 18:13:54

我的建议是:

def softmax(z):
    z_norm=np.exp(z-np.max(z,axis=0,keepdims=True))
    return(np.divide(z_norm,np.sum(z_norm,axis=0,keepdims=True)))

它既适用于随机，也适用于批量。欲了解更多详情，请参阅: https://medium.com/@ravish1729/analysis-of-softmax-function-ad058d6a564d

2018-08-18 09:44:16

我用了这三句简单的话:

x_exp=np.exp(x)
x_sum=np.sum(x_exp, axis = 1, keepdims = True)
s=x_exp / x_sum

2022-05-05 06:05:02

我想补充一点对这个问题的理解。这里减去数组的最大值是正确的。但如果你运行另一篇文章中的代码，你会发现当数组是2D或更高维度时，它不会给你正确的答案。

在这里我给你一些建议:

为了得到max，试着沿着x轴做，你会得到一个1D数组。重塑你的最大数组原始形状。 np。Exp得到指数值。 np。沿轴求和。得到最终结果。

根据结果，你将通过做矢量化得到正确的答案。因为和大学作业有关，所以我不能把具体的代码贴在这里，如果你不明白我可以多给你一些建议。

2017-07-16 02:00:38

如何在Python中实现Softmax函数

推荐文章

标签

最新文章