如果您碰巧使用“kc_house_data.csv”数据集(一些评论者和许多数据科学新手似乎使用这个数据集，因为它出现在许多流行的课程材料中)，则该数据是错误的，并且是错误的真正来源。

为了解决这个问题，从2022年开始:

删除csv文件中的最后一行(空) 有两行包含一个空数据值"x,x，，x,x" -要修复它，不要删除逗号，而是添加一个随机整数值，如2000，因此它看起来像"x,x,2000,x,x"

不要忘记在项目中保存和重新加载。

所有其他答案都是有帮助和正确的，但在这种情况下不是:

如果你使用kc_house_data.csv，你需要修复文件中的数据，没有其他帮助，空数据字段将随机转移其他数据，并产生难以追踪到源的奇怪错误!

泡芙! !在我的情况下，问题是关于NaN值…

您可以使用此函数列出具有NaN的列

your_data.isnull().sum()

然后你可以在数据集文件中填充这些NAN值。

下面是如何“将NaN替换为零，将无穷大替换为大的有限数”的代码。

your_data[:] = np.nan_to_num(your_data)

从numpy.nan_to_num

这是我的函数(基于此)来清除数据集的nan, Inf和缺失的单元格(用于倾斜的数据集):

import pandas as pd
import numpy as np

def clean_dataset(df):
    assert isinstance(df, pd.DataFrame), "df needs to be a pd.DataFrame"
    df.dropna(inplace=True)
    indices_to_keep = ~df.isin([np.nan, np.inf, -np.inf]).any(axis=1)
    return df[indices_to_keep].astype(np.float64)

注意:此解决方案仅适用于有意在数据集中保留NaN条目的情况。

这个错误发生在我使用一些scikit-learn功能时(在我的情况下:GridSearchCV)。在底层，我使用了一个xgboost XGBClassifier，它可以优雅地处理NaN数据。然而，GridSearchCV使用sklearn.utils.validation模块，通过调用_assert_all_finite函数强制缺少输入数据中的缺失数据。这最终导致了一个错误:

ValueError: Input contains NaN, infinity or a value too large for dtype('float64')

旁注:_assert_all_finite接受allow_nan参数，如果设置为True，则不会引起问题。但是，scikit-learn API不允许我们控制这个参数。

解决方案

我的解决方案是使用patch模块静默_assert_all_finite函数，这样它就不会引发ValueError。下面是一个片段

import sklearn
with mock.patch("sklearn.utils.validation._assert_all_finite"):
    # your code that raises ValueError

这将用一个虚拟模拟函数替换_assert_all_finite，因此它不会被执行。

请注意，补丁不是一个推荐的做法，可能会导致不可预知的行为!

编辑: 这个Pull Request应该可以解决这个问题(尽管截至2022年1月修复程序还没有发布)

这是它失败的检查:

https://github.com/scikit-learn/scikit-learn/blob/0.17.X/sklearn/utils/validation.py#L51

说

def _assert_all_finite(X):
    """Like assert_all_finite, but only for ndarray."""
    X = np.asanyarray(X)
    # First try an O(n) time, O(1) space solution for the common case that
    # everything is finite; fall back to O(n) space np.isfinite to prevent
    # false positives from overflow in sum method.
    if (X.dtype.char in np.typecodes['AllFloat'] and not np.isfinite(X.sum())
            and not np.isfinite(X).all()):
        raise ValueError("Input contains NaN, infinity"
                         " or a value too large for %r." % X.dtype)

所以确保你的输入中有非NaN值。所有这些值实际上都是浮点值。这些值也不应该是Inf。

在我的例子中，算法要求数据在(0,1)之间不包含。我非常残酷的解决方案是在所有期望值中添加一个小随机数:

y_train = pd.DataFrame(y_train).applymap(lambda x: x + np.random.rand()/100000.0)["col_name"]
y_train[y_train >= 1] = 0.999999

而y_train在[0,1]的范围内。

这当然不适合所有的情况，因为你会弄乱你的输入数据，但如果你有稀疏的数据，只需要一个快速的预测，这是一个解决方案