信息增益率越大越好吗

问题描述

精选答案

首先，计算总系统的熵，

然后，当某特征固定时，会将系统分成几个（此特征的可能值数目）子系统，分别计算每个子系统的熵，方法同上；

而后，将几个子系统的熵加起来，便是“当不包含此特征”时系统的熵；

最后，以上两个“包含”和“不包含”此特征情况下系统的熵的差值便是此特征的信息增益。

Gini 系数：

某个节点的Gini不纯度计算：

比如，某节点A样本分属两类，C1:2, C2:4，则Gini(A) = 1 - (2/6)^2 - (4/6) ^2 = 0.444，节点B，C1:6, C2:0, 则 Gini(B) = 1 - (6/6)^2 - (0/6)^2 = 0。显然，前者的不纯度更高，所以某节点的Gini系数越大则其不纯度越高。

而当评判分裂优劣时，需要用到两个子节点的Gini系数来计算。

比如某根节点有12个样本（6:6），按照某特征的某阈值分裂成两个子节点A（2:4）和B（0:6），则此次的split的Gini系数为：6/12*0.444 + 6/12*0 = 0.222. 那这个分类效果如何呢？比如按照另外一个特征的某阈值来分类的话，可以分成C（6:6）和D（0:0），则此次的split的Gini系数为：12/12*0.5 + 0/12*0 = 0.5. 而显然前者的分类效果好，可见，Gini_split值越小越好。

对于熵来说，越小说明越纯，而Gini同样，而这都是针对某个节点，如果某节点越纯则我们越能确定它属于哪一类，则越是理想结果。所以，对于信息增益来说，如果父节点的熵已定，则希望子节点的熵尽量小，这样：

1. 信息增益得到最大，2.分出来的子节点的类标越明确（越纯）。而对于Gini系数来说，同样是尽量让分出来的子节点拥有尽量低的不纯度（越纯则类标越明确）。——子节点的样本分布越不均匀，Gini系数和熵越小，分类效果越好。

其他回答

超级工程师平台

信息增益率越大并不一定越好。信息增益率是用来衡量特征选择效果的指标，它是指选定的特征中信息增益最高的那个特征的增益值。

在某些情况下，信息增益率越大确实意味着选择到的特征能够更好地区分数据集，但是它并不是唯一的决定因素。

在实际应用中，我们还需要考虑其他因素，例如特征的稀缺性、特征的稳定性、训练时间等。

如果一个特征的信息增益率很高，但是它稀缺、难以获得或需要付出很高的代价，那么选择它可能并不是最优解。因此，信息增益率越大越好并不是一个绝对的答案，需要根据具体情况进行综合考虑和权衡。