背景

我刚刚把我的熊猫从0.11升级到0.13.0rc1。现在,应用程序弹出了许多新的警告。其中一个是这样的:

E:\FinReporter\FM_EXT.py:449: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  quote_df['TVol']   = quote_df['TVol']/TVOL_SCALE

我想知道这到底是什么意思?我需要改变什么吗?

如果我坚持使用quote_df['TVol'] = quote_df['TVol']/TVOL_SCALE,我应该如何暂停警告?

给出错误的函数

def _decode_stock_quote(list_of_150_stk_str):
    """decode the webpage and return dataframe"""

    from cStringIO import StringIO

    str_of_all = "".join(list_of_150_stk_str)

    quote_df = pd.read_csv(StringIO(str_of_all), sep=',', names=list('ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefg')) #dtype={'A': object, 'B': object, 'C': np.float64}
    quote_df.rename(columns={'A':'STK', 'B':'TOpen', 'C':'TPCLOSE', 'D':'TPrice', 'E':'THigh', 'F':'TLow', 'I':'TVol', 'J':'TAmt', 'e':'TDate', 'f':'TTime'}, inplace=True)
    quote_df = quote_df.ix[:,[0,3,2,1,4,5,8,9,30,31]]
    quote_df['TClose'] = quote_df['TPrice']
    quote_df['RT']     = 100 * (quote_df['TPrice']/quote_df['TPCLOSE'] - 1)
    quote_df['TVol']   = quote_df['TVol']/TVOL_SCALE
    quote_df['TAmt']   = quote_df['TAmt']/TAMT_SCALE
    quote_df['STK_ID'] = quote_df['STK'].str.slice(13,19)
    quote_df['STK_Name'] = quote_df['STK'].str.slice(21,30)#.decode('gb2312')
    quote_df['TDate']  = quote_df.TDate.map(lambda x: x[0:4]+x[5:7]+x[8:10])
    
    return quote_df

更多错误消息

E:\FinReporter\FM_EXT.py:449: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  quote_df['TVol']   = quote_df['TVol']/TVOL_SCALE
E:\FinReporter\FM_EXT.py:450: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  quote_df['TAmt']   = quote_df['TAmt']/TAMT_SCALE
E:\FinReporter\FM_EXT.py:453: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  quote_df['TDate']  = quote_df.TDate.map(lambda x: x[0:4]+x[5:7]+x[8:10])

当前回答

一般来说,SettingWithCopyWarning的目的是向用户(尤其是新用户)表明,他们可能正在对一个副本进行操作,而不是他们所认为的原始版本。有假阳性(低,如果你知道你在做什么,它可能是好的)。一种可能是像@Garrett建议的那样关闭警告(默认为warn)。

这是另一种选择:

In [1]: df = DataFrame(np.random.randn(5, 2), columns=list('AB'))

In [2]: dfa = df.ix[:, [1, 0]]

In [3]: dfa.is_copy
Out[3]: True

In [4]: dfa['A'] /= 2
/usr/local/bin/ipython:1: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  #!/usr/local/bin/python

你可以将is_copy标志设置为False,这将有效地关闭该对象的检查:

In [5]: dfa.is_copy = False

In [6]: dfa['A'] /= 2

如果显式复制,则不会发生进一步的警告:

In [7]: dfa = df.ix[:, [1, 0]].copy()

In [8]: dfa['A'] /= 2

上面OP显示的代码虽然是合法的,而且可能也是我所做的,但从技术上讲,它是这个警告的一个案例,而不是误报。另一种没有警告的方法是通过重新索引来执行选择操作,例如:

quote_df = quote_df.reindex(columns=['STK', ...])

Or,

quote_df = quote_df.reindex(['STK', ...], axis=1)  # v.0.21

其他回答

这应该可以工作:

quote_df.loc[:,'TVol'] = quote_df['TVol']/TVOL_SCALE

在我的情况下,我会基于索引创建一个新列,但我得到了与您相同的警告:

df_temp["Quarter"] = df_temp.index.quarter

我使用insert()而不是直接赋值,它为我工作:

df_temp.insert(loc=0, column='Quarter', value=df_temp.index.quarter)

创建SettingWithCopyWarning是为了标记可能令人困惑的“链式”赋值,例如下面的赋值,它并不总是像预期的那样工作,特别是当第一个选择返回一个副本时。[背景讨论见GH5390和GH5597。]

df[df['A'] > 2]['B'] = new_val  # new_val not set in df

该警告提供了重写建议如下:

df.loc[df['A'] > 2, 'B'] = new_val

然而,这并不符合你的用法,这相当于:

df = df[df['A'] > 2]
df['B'] = new_val

虽然很明显,您并不关心写入操作是否使其返回到原始帧(因为您正在覆盖对它的引用),但不幸的是,此模式无法与第一个链式赋值示例区分开来。因此出现了(假阳性)警告。如果您想进一步阅读,在索引文档中讨论了假阳性的可能性。您可以使用以下赋值安全地禁用此新警告。

import pandas as pd
pd.options.mode.chained_assignment = None  # default='warn'

其他资源

pandas用户指南:索引和选择数据 Python数据科学手册:数据索引和选择 真正的Python: SettingWithCopyWarning在Pandas:视图vs副本 Dataquest: SettingwithCopyWarning:如何修复此警告在熊猫 走向数据科学:解释熊猫中copywarning的设置

一般来说,SettingWithCopyWarning的目的是向用户(尤其是新用户)表明,他们可能正在对一个副本进行操作,而不是他们所认为的原始版本。有假阳性(低,如果你知道你在做什么,它可能是好的)。一种可能是像@Garrett建议的那样关闭警告(默认为warn)。

这是另一种选择:

In [1]: df = DataFrame(np.random.randn(5, 2), columns=list('AB'))

In [2]: dfa = df.ix[:, [1, 0]]

In [3]: dfa.is_copy
Out[3]: True

In [4]: dfa['A'] /= 2
/usr/local/bin/ipython:1: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  #!/usr/local/bin/python

你可以将is_copy标志设置为False,这将有效地关闭该对象的检查:

In [5]: dfa.is_copy = False

In [6]: dfa['A'] /= 2

如果显式复制,则不会发生进一步的警告:

In [7]: dfa = df.ix[:, [1, 0]].copy()

In [8]: dfa['A'] /= 2

上面OP显示的代码虽然是合法的,而且可能也是我所做的,但从技术上讲,它是这个警告的一个案例,而不是误报。另一种没有警告的方法是通过重新索引来执行选择操作,例如:

quote_df = quote_df.reindex(columns=['STK', ...])

Or,

quote_df = quote_df.reindex(['STK', ...], axis=1)  # v.0.21

这个话题真的让熊猫很困惑。幸运的是,它有一个相对简单的解决方案。

问题是数据过滤操作(例如loc)是否返回DataFrame的副本或视图并不总是明确的。因此,进一步使用这种过滤后的DataFrame可能会令人困惑。

简单的解决方案是(除非你需要处理非常大的数据集):

无论何时需要更新任何值,总是确保在赋值之前显式复制DataFrame。

df  # Some DataFrame
df = df.loc[:, 0:2]  # Some filtering (unsure whether a view or copy is returned)
df = df.copy()  # Ensuring a copy is made
df[df["Name"] == "John"] = "Johny"  # Assignment can be done now (no warning)