★ FEATURED ARTICLE 信息熵这东西刚入门的时候听起来玄学学完又觉得绕可但凡你碰过决策树、特征选择、深度学习的损失函数甚至写个文本分类的模型都绕不开它。尤其是交叉熵PyTorch里一个nn.CrossEntropyLoss()用起来就完事很少有人细想它凭什么成为分类任务的默认选择。踩过几次坑、翻过几轮源码之后我发现自己对这两个概念的理解越深调参和排查问题的思路就越清晰。这篇就想把信息熵和交叉熵为什么如此常用这件事从原理到实操一次讲透顺带把Matlab里怎么算一维数据信息熵这类细节也补上。1. 先从信息熵拆起它到底在度量什么1.1 信息熵不是“不确定性”那么简单的词很多教材第一句话就是“信息熵度量系统的不确定性”。这句话没有错但太抽象容易让人搁置理解。我更喜欢从“惊程度”的角度去理解当你观测到一个事件发生时你获得的“信息量”有多大取决于这个事件有多“出人意料”。比如“明天太阳从东边升起”你听到后毫无波澜因为它概率接近1几乎不携带信息但“明天有特大暴雨导致停工”你立刻警觉因为它概率低、信息量大。信息量可以写成事件$x$发生的概率是$p(x)$看到它发生后的信息量是$-\log p(x)$。取对数是为了让多个独立事件的信息量可以直接相加加负号则保证信息量为正。底数通常取2单位是比特(bit)有时取自然对数$e$单位是纳特(nat。两者只是单位差异不影响性质。在此基础上信息熵就是“平均信息量”也就是对所有可能结果的信息量按概率加权求和$$H(X) -\sum_{i1}^{n} p(x_i) \log p(x_i)$$这个式子不复杂但它天然地回答了一个核心问题一个概率分布到底包含多少“信息”注意这里的“信息”是从接收者角度说的不关心符号本身的语义。你说“苹果”和你说“手机”在信息熵公式里没有区别只看它们在系统中出现的概率。1.2 信息熵的边界条件什么时候最大什么时候最小把公式的边界情况拉出来看比背定义有用得多。当某个事件概率为1其余为0时$H(X)0$。系统完全确定没有任何信息量。当所有事件等概率分布时熵达到最大值$H(X)\log n$。此时结果最难预测信息量最大。这件事在数据处理中作用非常大。一个特征如果有100个取值且每个取值均匀出现它的熵就很高对分类的“区分能力”可能很强如果某个特征99%的样本都取同一个值它的熵很低几乎不携带分类信息。老式决策树算法如ID3就是靠这个逻辑来选分裂特征的。我还想强调一个容易混淆的点信息熵只依赖于概率分布跟样本数量无关。一个只有8个样本、每个样本均匀分布在2个类别里的数据集和一个有10万样本、均匀分布在2个类别里的数据集熵完全一样都是1比特。熵描述的是“分布形态”不是“样本多少”。1.3 用生活化类比重新建立直觉我常跟人打一个比方信息熵像你猜一个箱子里的球的颜色。如果箱子里只有红球你闭眼都能猜中这时候信息熵为0你几乎不需要“问问题”如果箱子里红球、蓝球、绿球各占三分之一你每次猜都要付出代价需要平均问$\log_2 3 \approx 1.585$个“是/否问题”才能猜中这个1.585就是熵。再延展一步如果红球占90%蓝球和绿球各占5%熵大约只有0.569比特。为什么因为你大可以优先猜红球大概率一次就中剩下的少数情况再细分。“熵低”意味着这里的随机性弱、可预测性强。这就联系到了编码理论。信息熵给出了无损编码的理论下界如果你想给这些事件设计二进制编码平均编码长度不可能低于熵。哈夫曼编码等常见无损压缩算法本质上就是在逼近这个下界。所以信息熵从信息论诞生那天起就和压缩、传输、编码绑定在一起这也是它在工程中一直被反复使用的深层原因。1.4 实操Matlab中怎么计算一维数据的信息熵搜索引擎里“matlab中怎么计算一维数据信息熵”是高频问题这里直接给一个可复用的实现。Matlab没有内置“直接计算熵”的函数但利用直方图估计概率分布然后套公式即可。标准做法如下% data: 一维行向量或列向量比如观测值 % bins: 分箱数量默认取 sqrt(length(data))或按业务需求指定 function H calc_entropy(data, bins) if nargin 2 bins ceil(sqrt(length(data))); end % 计算直方图频数 counts histcounts(data, bins); % 转为概率 probs counts / sum(counts); % 去掉零概率避免 log(0) probs probs(probs 0); % 以2为底计算信息熵单位 bit H -sum(probs .* log2(probs)); end几个关键细节分箱数怎么选。分箱太细每个箱子里样本太少概率估计方差大分箱太粗会抹平数据分布细节。经验法则是样本量的平方根量级对大多数一维数据场景够用。如果你处理的是连续分布且样本量大可以考虑核密度估计(KDE)替代直方图但计算成本更高。零概率必须处理。当某个箱子没有样本时$0\log 0$在数学上是未定义的。按极限约定$0\log 0 0$所以代码里显式剔除零概率项。结果解读。均匀分布的数据熵最高趋近$\log_2(\text{bins})$单峰集中的数据熵较低。如果你发现算出来的熵非常接近上限说明分箱太多或数据确实高度均匀要区别看待。如果数据本身是离散类别型不需要分箱直接统计每个类别的频率就行function H calc_discrete_entropy(labels) probs histcounts(labels, Normalization, probability); probs probs(probs 0); H -sum(probs .* log2(probs)); end这个实现写的是一次性函数日常工作里如果只是临时算一算也可以直接把这几行塞到脚本里不用额外建文件。2. 为什么信息熵在工程里无处不在2.1 它给“信息量”提供了可计算的单位信息熵能流行的根本原因在于它把模糊的“信息多少”变成可计算的数值。做工程的人都清楚量纲很重要。有了比特这个单位你就能回答“A特征比B特征多提供多少信息”这样实际的问题而不是凭感觉说“A更有区分度”。举个例子做特征筛选时我们可以算每个特征与标签之间的互信息$$I(X;Y) H(X) H(Y) - H(X,Y)$$互信息本质上是“知道X后Y的不确定性减少多少”。如果$I(X;Y)$接近0说明特征与标签几乎独立特征可以扔掉如果互信息很高说明特征携带了大量关于标签的信息。这个指标在sklearn的mutual_info_classif里就是核心。它之所以用熵来定义就是需要一套统一的、可加和的度量体系信息熵恰好满足这些性质。2.2 决策树和信息增益背后的逻辑决策树选特征时几乎绕不开信息增益。ID3算法就是选择一个特征使得分裂后子节点的熵加权和最小也即“信息增益”最大。分裂前的数据集熵减去分裂后各子节点熵的加权平均就是信息增益。你每选一次特征都在问同一个问题“这个特征让系统的不确定性下降了多少”多轮分裂后树的叶子越来越纯熵越来越低最终实现对训练集的拟合。你完全可以把决策树看成“熵的拆解过程”每个内部节点都在做一轮信息压缩。C4.5把信息增益换成信息增益率CART则用基尼指数代替熵本质是换了一个“纯度度量”但核心思想依然是把不确定性的下降作为分裂依据。哪怕到了梯度提升树分裂时依然会算类似的东西。所以你说信息熵常用不常用几乎每个树模型后背都用到了它。2.3 在文本和信息检索里的高频出现TF-IDF、BM25这些检索算法表面看是词频统计但背后都有信息熵的影子。IDF的实质是“包含词条的文档越少词条提供的信息越多”。如果用熵的语言说一个词在文档集合上分布越集中、越不均匀它的熵越低、信息量越大反之像“的”“了”这种每个文档都出现的词熵高但信息贡献接近于0。做文本分类时信息熵还被用来帮助做特征选择。比如统计每个词在正负样本中的分布算条件熵挑出熵下降最多的词作为特征。词频统计本身不解决问题但结合熵来筛选就很有说服力。2.4 数据质量评估里的应用我的实际经验里信息熵还能用来探测数据集的质量。比如某一列连续特征的熵异常低大概率是数据采集出了偏差比如传感器卡在某个值附近不动了某个分类特征的熵接近0那它基本不能区分样本如果两个特征单独熵都不低但联合熵接近其中一个单独熵说明两者高度冗余可以考虑去重。这类探索性分析代码量不大但靠人眼看数据分布效率太低用熵做标量指标后就能批量扫描几百个特征。我把这类脚本统称为“数据集体检”落地效果一直很好。3. 交叉熵从信息熵的框架里长出来3.1 交叉熵的定义和结构交叉熵的定义不长形式上是$$H(P,Q) -\sum_{i} p(x_i) \log q(x_i)$$其中$P$是真实分布$Q$是预测分布。注意对数的位置里面是$q(x_i)$外面乘以$p(x_i)$的概率权重。这意味着交叉熵计算的是“按真实分布加权对预测分布取信息量”后的平均值。如果$PQ$交叉熵就等于$P$的熵$H(P)$这是它的下界。当$P$和$Q$差异越大交叉熵越大。因此公式本身就能反映两个分布的“距离”但因为它不对称$H(P,Q)\neq H(Q,P)$严格来说它不是距离度量只是“差异度量”或者叫“不相似度”。顺带一提KL散度的定义是$KL(P|Q)H(P,Q)-H(P)$正好等于“交叉熵减去真实分布的熵”。由于$H(P)$在优化固定数据集时是常数最小化交叉熵和最小化KL散度是等价的。这也是深度学习分类任务里直接用交叉熵做损失的根本原因——你等价地在最小化模型预测分布和真实分布之间的KL散度。3.2 为什么最小化交叉熵就能让模型“预测更准”逻辑链是这样的真实标签分布$P$是“上帝答案”在分类任务里通常是one-hot向量比如类别2对应的分布是$[0,1,0]$模型输出$Q$是一个预测概率分布比如$[0.2,0.7,0.1]$交叉熵$H(P,Q)$衡量这两个分布的差异模型训练就是不断调整参数让$Q$逼近$P$也就是让交叉熵变小。把one-hot代入公式有个重要推论因为只有真实类别那一项$p1$其他项都是0公式瞬间简化成$$L -\log q_{\text{true}}$$也就是说交叉熵损失在single-label分类任务中等价于“对真实类别的预测概率取负对数”。如果想提高模型表现本质就是提高正确类别的预测概率。这就是为什么你在训练日志里看到的loss能直接反映模型对正确类的置信度。3.3 交叉熵 vs 均方误差一个实操对比刚接触深度学习时我一度觉得均方误差(MSE)也能衡量差异为什么分类任务偏要用交叉熵后来动手对比了几个网络才发现区别非常大。用MSE做分类损失时梯度表达式中有$(q - p)$的相乘项。当模型输出极端值比如输出接近1或0时梯度被压缩到很小训练变得缓慢。但交叉熵的梯度是$q - p$在one-hot情形下正比于预测概率与目标值的差几乎没有饱和区梯度衰减慢得多。再看函数形态。MSE把“错误”按平方放大适合回归任务中对大误差敏感的场景交叉熵则直接惩罚“置信度不足”更贴合分类的语义。模拟实验里同样一个网络用交叉熵比用MSE收敛更快、精度更高这个差距在小数据集上尤其明显。我用一个简单对比表格把两类损失的功能特点列一下方便参考对比项交叉熵损失均方误差适用任务分类、多标签分类回归梯度形式预测概率与目标的差无明显饱和受输出极值影响可能梯度消失对错误的惩罚按概率对数非线性惩罚按误差平方惩罚对输出概率的解释直接对应概率分布缺乏概率语义数值稳定性需配合softmax做归一化处理相对简单当然不要一刀切说MSE在分类中完全没用有些特殊网络结构或者标签做平滑后会单独设计损失项但那属于特殊情况。默认场景还是优先交叉熵。4. 交叉熵损失在深度学习中的实现与细节4.1 从Softmax到交叉熵的完整链路分类网络的最后一层通常输出实数向量logits需要先经过Softmax变成概率分布再计算交叉熵。如果分开写很容易遇到数值不稳定的问题Softmax时先算exp(logit)当logit很大时exp的结果可能溢出Python里直接变成inf。标准做法是把Softmax和交叉熵合并成一个函数。数学上交叉熵那一项log(q_i)展开后会消掉Softmax的归一化项最终化简为$$\text{loss} -\log\left(\frac{e^{z_{\text{true}}}}{\sum_j e^{z_j}}\right) -z_{\text{true}} \log\left(\sum_j e^{z_j}\right)$$这个logsumexp形式比“先算softmax再取log”稳定得多。PyTorch里直接在CrossEntropyLoss内部做了融合所以源码中你不会看到它先显式调用Softmax。这也是为什么你写模型时直接传logits比传概率更稳、更推荐的原因。很多新手用PyTorch时喜欢在模型输出层加一个Softmax再把概率传给损失函数这种做法虽然能用但既容易遇到数值问题也和框架设计初衷不符。规范用法是模型输出logits损失函数内部处理Softmaximport torch import torch.nn as nn criterion nn.CrossEntropyLoss() logits model(x) # shape: [batch_size, num_classes] loss criterion(logits, y) # y: [batch_size]值是类别索引4.2 二分类交叉熵的二进制形式二分类是交叉熵的特例。标签$y\in{0,1}$模型输出单个概率$\hat{y}$损失函数写作$$L -[y\log\hat{y} (1-y)\log(1-\hat{y})]$$这就是常见的BCELoss。在使用时要注意最终输出应经过Sigmoid压缩到$(0,1)$区间再交给BCELoss。同样地PyTorch里的BCEWithLogitsLoss会合并Sigmoid和损失计算推荐直接用它避免数值问题。4.3 样本间交叉熵差异大不一定代表模型坏了训练过程中如果批量样本的交叉熵均值忽高忽低很多人第一反应是学习率太大或者数据出错了。但有一种很常见的场景数据里有难样本和简单样本交错出现难样本的$-\log q$本身就大。比如一个样本被分到正确类别的概率只有0.3那它的损失是$-\log 0.3\approx 1.204$另一个样本正确类别概率0.9损失只有0.105。两者的数量级差了一个数量级均值自然波动大。我在实际训练中会把每个batch的损失分布画成直方图而不是只看均值。如果分布是长尾的说明少数难样本拉高了均值模型并没有坏如果整体分布都很高再考虑容量不足或学习率设置问题。这个习惯帮我避免了很多次误判。5. 实际落地中的常见问题与排查技巧5.1 信息熵计算时的分箱陷阱Matlab里算信息熵最常见的坑是分箱方式不一致导致结果不可比。比如说同一个数据集你用10个bin得到2.3比特我用50个bin得到3.1比特两个人“算出的熵”完全不同但数据是一样的。出现这个差异不是谁算错了而是分箱改变了概率分布的粒度和下界。如果你要比较多个特征的信息熵必须采用相同的分箱策略否则数值没有可比性。另外当样本量很少时直方图估计的概率很不稳定同一个数据集重复抽样两次的熵值可能差出20%以上这时候要么加大样本量要么采用更平滑的KDE估计。5.2 交叉熵损失变成NaN的排查顺序训练中交叉熵loss变成NaN是深度学习里最经典的问题之一。我的排查顺序是检查输入数据是否包含NaN或无穷值尤其是图像数据和文本Embedding的特征检查logits是否过大一般先查网络结构里有没有未归一化的累加比如Transformer中attention之后忘加LayerNorm检查学习率过大时权重可能在几步之内冲到数值溢出检查标签索引是否越界如果类别数不是从0开始编号或标签错位损失计算会直接异常最后才是检查损失函数实现本身大多数情况下你会处在前几步。步骤顺序很重要。我曾经在某次图像分类训练里花了半天调试最后发现是数据增强部分把像素值除以255的时候数据类型转成了uint8导致所有像素变成0或1logits里一下出现巨大异常。这种底层的坑靠看公式看不出来得靠日志逐步排查。5.3 用熵做特征筛选的坏处信息熵虽然强大但不是万能的。用互信息做特征筛选时最大的问题是只考虑了单特征的独立性忽略了特征之间的交互效应。两个特征单独看熵都很低互信息也不高但组合在一起却对分类有极强的判别能力。这在图像和文本数据里尤其常见。所以我会把熵类指标当成“初筛”工具先用它把明显无效的特征去掉再结合线性模型或树模型的权重做二次筛选。直接单用熵来决定最终特征集容易漏掉组合特征我在实际项目里吃过亏。5.4 标签平滑为什么能改善交叉熵训练交叉熵面对one-hot标签时模型会疯狂提高正确类别的logit导致输出概率逼近1。这样做容易带来过拟合和过度自信。标签平滑的思路是给错误类别分配一小部分概率比如原来是$[1,0,0]$平滑后变成$[0.9,0.05,0.05]$。这样做的实际好处有两个第一缓解了模型对训练标签的过度信任间接提升泛化能力第二让logits不至于向无穷大疯狂膨胀训练更稳定。很多现代分类模型里都用到了这一招PyTorch的CrossEntropyLoss从1.11版本开始也直接支持label_smoothing参数。我通常从0.1开始试观察验证集精度的变化。用交叉熵做损失时还要注意两个细节类别极不平衡时单纯用交叉熵会让模型倾向于预测高频类这时就要考虑加权交叉熵或者Focal Loss模型对训练集的交叉熵低不代表对验证集也一样低所以早停策略要结合验证集指标而不是训练loss。6. 一点个人的训练与调试心得信息熵和交叉熵这两个概念放在公式里看是干干净净的数学真正用起来全是细节问题。我在实际项目中摸索出一个小习惯每次设计分类模型时先打印一批预测概率分布看看模型对正确类别的概率是否在合理区间。如果交叉熵很低但验证指标上不去大概率是过拟合或者评估指标选得不对如果交叉熵降不下来先查数据和标签再查模型结构。这个顺序看起来简单但能避免很多无效调参。另外交叉熵和Softmax的数值稳定性问题我在几轮框架升级里反复吃过亏。早期版本里直接在损失函数外部做Softmax遇到极端logits时loss直接变成NaN后来彻底改成合并计算再也没出过类似问题。如果你在看老教程时发现写法是先Softmax再传损失函数那就要警惕数值溢出的隐患优先改成框架推荐写法。最后再提一个冷门的实用技巧在做二元分类时如果两个类别样本数差距大常规做法是给少数类的交叉熵加一个权重比如正样本权重设为负样本比例的倒数。你可以通过torch.nn.CrossEntropyLoss(weighttorch.tensor([w0, w1]))来实现。但注意别把权重调得过大否则模型会过度偏向少数类导致整体准确率反而下降。我自己一般让$w_1 \in [1, 3]$区间内搜索配合验证集看效果。这些概念看起来是理论课的内容但真正把它们理解透你在模型训练、损失函数选择、特征筛选这些环节里都能省下大量调试时间。做工程的人最怕的不是模型不准而是不知道一个指标变化背后发生了什么。信息熵和交叉熵恰恰就是帮你建立这种“指标直觉”的最好工具。
阅读完成 · 觉得有帮助？
