df是一个pandas数据框架。 我想找到所有数字类型的列。 喜欢的东西:
isNumeric = is_numeric(df)
df是一个pandas数据框架。 我想找到所有数字类型的列。 喜欢的东西:
isNumeric = is_numeric(df)
def is_type(df, baseType):
import numpy as np
import pandas as pd
test = [issubclass(np.dtype(d).type, baseType) for d in df.dtypes]
return pd.DataFrame(data = test, index = df.columns, columns = ["test"])
def is_float(df):
import numpy as np
return is_type(df, np.float)
def is_number(df):
import numpy as np
return is_type(df, np.number)
def is_integer(df):
import numpy as np
return is_type(df, np.integer)
调整这个答案,你可以做到
df.ix[:,df.applymap(np.isreal).all(axis=0)]
在这里,np.applymap(np.isreal)显示数据帧中的每个单元格是否都是数值,而.axis(all=0)检查列中的所有值是否都为True,并返回一系列可用于索引所需列的布尔值。
你可以使用DataFrame的select_dtypes方法。它包括include和exclude两个参数。所以isNumeric看起来是这样的:
numerics = ['int16', 'int32', 'int64', 'float16', 'float32', 'float64']
newdf = df.select_dtypes(include=numerics)
你可以使用没有文档的函数_get_numeric_data()只过滤数字列:
df._get_numeric_data()
例子:
In [32]: data
Out[32]:
A B
0 1 s
1 2 s
2 3 s
3 4 s
In [33]: data._get_numeric_data()
Out[33]:
A
0 1
1 2
2 3
3 4
请注意,这是一个“私有方法”(即,一个实现细节),将来可能会更改或完全删除。请谨慎使用。
df.select_dtypes(exclude = ['object'])
更新:
df.select_dtypes(include= np.number)
或者是熊猫的新版本
df.select_dtypes('number')
这是另一个简单的代码,用于在pandas数据帧中查找数字列,
numeric_clmns = df.dtypes[df.dtypes != "object"].index
简单的一行回答,创建一个只有数字列的新数据框架:
df.select_dtypes(include=np.number)
如果您想要数值列的名称:
df.select_dtypes(include=np.number).columns.tolist()
完整的代码:
import pandas as pd
import numpy as np
df = pd.DataFrame({'A': range(7, 10),
'B': np.random.rand(3),
'C': ['foo','bar','baz'],
'D': ['who','what','when']})
df
# A B C D
# 0 7 0.704021 foo who
# 1 8 0.264025 bar what
# 2 9 0.230671 baz when
df_numerics_only = df.select_dtypes(include=np.number)
df_numerics_only
# A B
# 0 7 0.704021
# 1 8 0.264025
# 2 9 0.230671
colnames_numerics_only = df.select_dtypes(include=np.number).columns.tolist()
colnames_numerics_only
# ['A', 'B']
请参阅以下代码:
if(dataset.select_dtypes(include=[np.number]).shape[1] > 0):
display(dataset.select_dtypes(include=[np.number]).describe())
if(dataset.select_dtypes(include=[np.object]).shape[1] > 0):
display(dataset.select_dtypes(include=[np.object]).describe())
通过这种方式,您可以检查值是数值,如float和int还是srting值。第二个if语句用于检查对象引用的字符串值。
下面的代码将返回数据集的数字列的名称列表。
cnames=list(marketing_train.select_dtypes(exclude=['object']).columns)
这里marketing_train是我的数据集,select_dtypes()是使用exclude和include参数选择数据类型的函数,columns用于获取数据集的列名 以上代码的输出如下:
['custAge',
'campaign',
'pdays',
'previous',
'emp.var.rate',
'cons.price.idx',
'cons.conf.idx',
'euribor3m',
'nr.employed',
'pmonths',
'pastEmail']
我们可以根据下面的要求包括和排除数据类型:
train.select_dtypes(include=None, exclude=None)
train.select_dtypes(include='number') #will include all the numeric types
参考自木星笔记本。
要选择所有数字类型,请使用np。Number或' Number '
要选择字符串,必须使用对象dtype,但请注意 这将返回所有对象dtype列 参见NumPy dtype层次结构<http://docs.scipy.org/doc/numpy/reference/arrays.scalars.html>__ 要选择日期时间,使用np。Datetime64, 'datetime'或 “datetime64” 要选择时间增量,使用np。Timedelta64, 'timedelta'或者 “timedelta64” 要选择Pandas分类dtypes,使用'category' 要选择Pandas datetimetz类型,使用'datetimetz'(在 0.20.0)或“datetime64[ns, tz]”
虽然这是一个古老的话题,
但我认为下面的公式比其他的都简单
df [df.describe () .columns]
由于函数describe()仅适用于数值列,因此输出的列将仅为数值列。
很多贴出来的答案都是低效的。这些答案要么返回/选择原始数据帧的子集(不必要的副本),要么在describe()的情况下执行不必要的计算统计。
要获得数字列名,可以使用pd.api.types的条件列表推导式。is_numeric_dtype功能:
numeric_cols = [col for col in df if pd.api.types.is_numeric_dtype(df[col])]
我不确定这个函数是什么时候引入的。