使用sklearn在PCA中恢复解释名称_variance_ratio_的特征名称
machine-learning
python
scikit-learn
5
0

我正在尝试从scikit-learn完成的PCA中恢复, 这些功能被选择为相关

IRIS数据集的经典示例。

import pandas as pd
import pylab as pl
from sklearn import datasets
from sklearn.decomposition import PCA

# load dataset
iris = datasets.load_iris()
df = pd.DataFrame(iris.data, columns=iris.feature_names)

# normalize data
df_norm = (df - df.mean()) / df.std()

# PCA
pca = PCA(n_components=2)
pca.fit_transform(df_norm.values)
print pca.explained_variance_ratio_

这返回

In [42]: pca.explained_variance_ratio_
Out[42]: array([ 0.72770452,  0.23030523])

如何恢复数据集中哪两个特征允许这两个已解释的方差?换句话说,我如何在iris.feature_names中获取此功能的索引?

In [47]: print iris.feature_names
['sepal length (cm)', 'sepal width (cm)', 'petal length (cm)', 'petal width (cm)']

在此先感谢您的帮助。

参考资料:
Stack Overflow
收藏
评论
共 4 个回答
高赞 时间 活跃

此信息包含在pca属性中: components_ 。如文档中所述, pca.components_输出[n_components, n_features]数组,因此,要了解组件如何与不同功能线性相关,您必须:

注意 :每个系数代表特定的一对零件和特征之间的相关性

import pandas as pd
import pylab as pl
from sklearn import datasets
from sklearn.decomposition import PCA

# load dataset
iris = datasets.load_iris()
df = pd.DataFrame(iris.data, columns=iris.feature_names)

# normalize data
from sklearn import preprocessing
data_scaled = pd.DataFrame(preprocessing.scale(df),columns = df.columns) 

# PCA
pca = PCA(n_components=2)
pca.fit_transform(data_scaled)

# Dump components relations with features:
print pd.DataFrame(pca.components_,columns=data_scaled.columns,index = ['PC-1','PC-2'])

      sepal length (cm)  sepal width (cm)  petal length (cm)  petal width (cm)
PC-1           0.522372         -0.263355           0.581254          0.565611
PC-2          -0.372318         -0.925556          -0.021095         -0.065416

重要提示:作为附带说明,请注意PCA符号不会影响其解释,因为该符号不会影响每个组件中包含的差异。仅形成PCA尺寸的特征的相对符号很重要。实际上,如果再次运行PCA代码,则PCA尺寸可能会与符号相反。对此有一个直观的认识,请考虑向量及其在3-D空间中的负数-两者本质上都表示空间中的相同方向。检查此帖子以获取更多参考。

收藏
评论

给定拟合的估计量pca ,可以在pca.components_找到这些分量,它们表示数据集中最大方差的方向。

收藏
评论

编辑:正如其他人所评论,您可能会从.components_属性获得相同的值。


每个主成分是原始变量的线性组合:

pca-coef

其中X_i是原始变量, Beta_i是相应的权重或所谓的系数。

要获得权重,您可以简单地将单位矩阵传递给transform方法:

>>> i = np.identity(df.shape[1])  # identity matrix
>>> i
array([[ 1.,  0.,  0.,  0.],
       [ 0.,  1.,  0.,  0.],
       [ 0.,  0.,  1.,  0.],
       [ 0.,  0.,  0.,  1.]])

>>> coef = pca.transform(i)
>>> coef
array([[ 0.5224, -0.3723],
       [-0.2634, -0.9256],
       [ 0.5813, -0.0211],
       [ 0.5656, -0.0654]])

上面的coef矩阵的每一列显示了获得相应主成分的线性组合中的权重:

>>> pd.DataFrame(coef, columns=['PC-1', 'PC-2'], index=df.columns)
                    PC-1   PC-2
sepal length (cm)  0.522 -0.372
sepal width (cm)  -0.263 -0.926
petal length (cm)  0.581 -0.021
petal width (cm)   0.566 -0.065

[4 rows x 2 columns]

例如,上图显示第二主成分( PC-2 )大多与sepal width对齐,其绝对值的最高权重为0.926

由于数据已归一化,因此可以确认主成分的方差1.0等于具有范数1.0每个系数向量:

>>> np.linalg.norm(coef,axis=0)
array([ 1.,  1.])

还可以确认可以将主系数计算为上述系数与原始变量的点积:

>>> np.allclose(df_norm.values.dot(coef), pca.fit_transform(df_norm.values))
True

请注意,由于浮点精度错误,我们需要使用numpy.allclose代替常规的等于运算符。

收藏
评论

这个问题的表达方式让我想起了我第一次尝试弄清主成分分析时的误解。我希望在这里仔细阅读一下,希望其他人不会花那么多的时间在通向无处可去的路上之前。

“恢复”要素名称的概念表明,PCA可以识别数据集中最重要的要素。严格来说不是这样。

据我所知,PCA可以识别数据集中方差最大的特征,然后可以使用此数据集的质量来创建较小的数据集,而描述性损失最小。较小的数据集的优点在于,它需要较少的处理能力,并且数据中的噪声也应较小。但是,方差最大的特征并不是数据集的“最佳”或“最重要”特征,因为可以说这些概念根本就存在。

要将上述理论引入@Rafa的示例代码的实用性:

# load dataset
iris = datasets.load_iris()
df = pd.DataFrame(iris.data, columns=iris.feature_names)

# normalize data
from sklearn import preprocessing
data_scaled = pd.DataFrame(preprocessing.scale(df),columns = df.columns) 

# PCA
pca = PCA(n_components=2)
pca.fit_transform(data_scaled)

考虑以下:

post_pca_array = pca.fit_transform(data_scaled)

print data_scaled.shape
(150, 4)

print post_pca_array.shape
(150, 2)

在这种情况下, post_pca_array具有作为相同的150行数据data_scaled ,但data_scaled的四列已经从四个减少到两个。

这里的关键点是,两列-或部件,要在术语一致-的post_pca_array不是两个“最佳”列data_scaled 。它们是两个新列,由sklearn.decompositionPCA模块背后的算法确定。 sepal_width的示例中的第二列PC-2通过sepal_width通知的信息比其他任何列都多,但是PC-2data_scaled['sepal_width']中的值不同。

因此,虽然很有趣的是找出原始数据中的每一列对后PCA数据集的贡献有多大,但是“恢复”列名的概念有点误导,并且肯定会长期误导我。 PCA后列和原始列之间唯一匹配的情况是,将主成分的数量设置为与原始列中的数量相同。但是,使用相同数量的列将毫无意义,因为数据不会更改。您只会去那里再回来,就像过去一样。

收藏
评论
新手导航
  • 社区规范
  • 提出问题
  • 进行投票
  • 个人资料
  • 优化问题
  • 回答问题

关于我们

常见问题

内容许可

联系我们

@2020 AskGo
京ICP备20001863号