许多神经网络训练算法都涉及到将整个数据集多次呈现给神经网络。通常，整个数据集的单一表示被称为“epoch”。相比之下，一些算法一次只向神经网络提供一个案例的数据。

“迭代”是一个更一般的术语，但既然你和“epoch”一起问了这个词，我假设你的来源是指一个单一案例对神经网络的呈现。

我认为迭代相当于批SGD中的单批正向+反向。Epoch将遍历整个数据集一次(正如其他人提到的那样)。

根据我的理解，当你需要训练一个NN时，你需要一个包含许多数据项的大型数据集。在训练神经网络时，数据项一个一个地进入神经网络，这称为迭代;当整个数据集通过时，它被称为epoch。

epoch是用于训练的样本子集的迭代，例如，神经网络中的梯度下降算法。一个很好的参考:http://neuralnetworksanddeeplearning.com/chap1.html

请注意，该页面有一个使用epoch的梯度下降算法的代码

def SGD(self, training_data, epochs, mini_batch_size, eta,
        test_data=None):
    """Train the neural network using mini-batch stochastic
    gradient descent.  The "training_data" is a list of tuples
    "(x, y)" representing the training inputs and the desired
    outputs.  The other non-optional parameters are
    self-explanatory.  If "test_data" is provided then the
    network will be evaluated against the test data after each
    epoch, and partial progress printed out.  This is useful for
    tracking progress, but slows things down substantially."""
    if test_data: n_test = len(test_data)
    n = len(training_data)
    for j in xrange(epochs):
        random.shuffle(training_data)
        mini_batches = [
            training_data[k:k+mini_batch_size]
            for k in xrange(0, n, mini_batch_size)]
        for mini_batch in mini_batches:
            self.update_mini_batch(mini_batch, eta)
        if test_data:
            print "Epoch {0}: {1} / {2}".format(
                j, self.evaluate(test_data), n_test)
        else:
            print "Epoch {0} complete".format(j)

看看代码。对于每个历元，我们随机生成梯度下降算法输入的子集。为什么epoch是有效的，也解释了这一页。请看一看。

许多神经网络训练算法都涉及到将整个数据集多次呈现给神经网络。通常，整个数据集的单一表示被称为“epoch”。相比之下，一些算法一次只向神经网络提供一个案例的数据。

“迭代”是一个更一般的术语，但既然你和“epoch”一起问了这个词，我假设你的来源是指一个单一案例对神经网络的呈现。

时代 对整个数据集进行完整的训练，使得每个 例子已经见过一次了。因此，一个epoch表示N/batch 大小训练迭代，其中N是的总数 的例子。 迭代 在训练过程中对模型权重的一次更新。 迭代包括计算参数的梯度 对于单批数据的损失。

奖金:

批处理 在一次迭代中使用的示例集(即一个梯度) 更新)的模型训练。 请参见批大小。

来源:https://developers.google.com/machine-learning/glossary/