Gini 系数与熵的关系_gini与熵

作者：煮酒与君饮 | 2024-06-27 21:29:32

踩

gini与熵

首先来看二者的基本定义：

{\begin{aligned} H (X) = - \sum_{k = 1}^{K} p_{k} \ln p_{k} \\ Gini (X) = \sum_{k = 1}^{K} p_{k} (1 - p_{k}) \end{aligned}

$\left\{ \begin{split} &H(X)=-\sum_{k=1}^Kp_k\ln p_k\\ &\text{Gini}(X)=\sum_{k=1}^Kp_k(1-p_k) \end{split} \right.$

将 $f(x)=-\ln x$ 在 $x=1$ 处进行一阶泰勒展开（忽略高阶无穷小）：

\begin{aligned} f (x) = & f (x_{0}) + f^{'} (x_{0}) (x - x_{0}) + o (\cdot) \\ = & f (1) + f^{'} (1) (x - 1) + o (\cdot) \\ = & 1 - x \end{aligned}

$\begin{split} f(x)=&f(x_0)+f'(x_0)(x-x_0)+o(\cdot)\\ =&f(1)+f'(1)(x-1)+o(\cdot)\\ =&1-x \end{split}$

因此，熵可近似转化为：

\begin{aligned} H (X) = & - \sum_{k = 1}^{K} p_{k} \ln p_{k} = \sum_{k = 1}^{K} p_{k} (- \ln p_{k}) \\ ≃ \sum_{k = 1}^{K} p_{k} (1 - p_{k}) = Gini (X) \end{aligned}

$\begin{split} H(X)=&-\sum_{k=1}^Kp_k\ln p_k=\sum_{k=1}^Kp_k\left(-\ln p_k\right)\\ &\simeq\sum_{k=1}^Kp_k\left(1-p_k\right)=\text{Gini}(X) \end{split}$

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/煮酒与君饮/article/detail/763816