@unwind的回答很好。然而，它不能处理极端负数(抛出OverflowError)。

我的改进:

def sigmoid(x):
    try:
        res = 1 / (1 + math.exp(-x))
    except OverflowError:
        res = 0.0
    return res

Tensorflow还包括一个sigmoid函数: https://www.tensorflow.org/versions/r1.2/api_docs/python/tf/sigmoid

import tensorflow as tf

sess = tf.InteractiveSession()
x = 0.458
y = tf.sigmoid(x)

u = y.eval()
print(u)
# 0.6125396

下面是执行相同操作的python函数。

def sigmoid(x) :
    return 1.0/(1+np.exp(-x))

下面是如何以数字稳定的方式实现逻辑sigmoid(如这里所述):

def sigmoid(x):
    "Numerically-stable sigmoid function."
    if x >= 0:
        z = exp(-x)
        return 1 / (1 + z)
    else:
        z = exp(x)
        return z / (1 + z)

或许这句话更准确:

import numpy as np

def sigmoid(x):  
    return np.exp(-np.logaddexp(0, -x))

在内部，它实现了与上面相同的条件，但随后使用log1p。

一般而言，多项logistic乙型为:

def nat_to_exp(q):
    max_q = max(0.0, np.max(q))
    rebased_q = q - max_q
    return np.exp(rebased_q - np.logaddexp(-max_q, np.logaddexp.reduce(rebased_q)))

(然而,logaddexp。Reduce可能更准确。)

@unwind的回答很好。然而，它不能处理极端负数(抛出OverflowError)。

我的改进:

def sigmoid(x):
    try:
        res = 1 / (1 + math.exp(-x))
    except OverflowError:
        res = 0.0
    return res

另一种方法是变换tanh函数

sigmoid = lambda x: .5 * (math.tanh(.5 * x) + 1)