★ FEATURED ARTICLE 前阵子处理一批用户会话时长数据时我遇到一个挺典型的困惑同一份数据用直方图去看分组宽度取 10 分钟是一种形状取 30 分钟又是另一种形状多画几次之后我甚至不敢确定它到底是单峰还是双峰。后来换成核密度估计Kernel Density Estimation简称 KDE来做分布探索很多模棱两可的结论一下子就清楚了。这篇文章我把自己从直方图切换到 KDE 过程中的思考、原理梳理以及在 Python 里的实际用法完整整理出来希望对正在做数据分布探索、异常检测或者可视化分析的朋友有帮助。KDE 最核心的价值是不依赖“分箱子”就能估计出连续概率密度曲线。它不像直方图那样需要对区间边界和宽度做主观选择也不产生阶梯状跳变拿来观察数据形态、寻找多峰、比较组间差异都很顺手。文章会先讲清楚 KDE 到底在做什么再重点分析核函数和带宽这两个参数然后给出 scipy、scikit-learn、statsmodels 三套工具的实现方式最后用一个实际案例说明怎么把 KDE 用在真实问题上。1. 直方图的局限为什么连续分布不能靠“分箱子”硬画1.1 直方图的两个盲区分箱粒度与起始位置直方图的原理很简单把数轴切成一段段等宽区间数每个区间里有多少样本点然后画成柱子。问题恰恰出在“切区间”这件事上。第一个盲区是分箱宽度。宽度太大细节被抹掉可能把双峰合并成单峰宽度太小每个箱子里样本太少柱子高低起伏像锯齿噪声盖过信号。第二个盲区是起始位置。同样是 50 个箱子从 0 开始切和从 5 开始切得到的柱子形状会有肉眼可见的差异。原因不复杂——落在某个边界附近的样本因为起点平移而被划到了不同的箱子里这种“边界抖动”在样本量不够大的时候尤其明显。我举个例子。假设有 800 个点来自均值 300、标准差 40 的正态分布200 个点来自均值 700、标准差 60 的正态分布混合在一起。用直方图画箱子宽度取 30图形会像一座右肩略鼓的“单峰山”箱子宽度取 8右侧可能冒出一个小峰但这个峰特别不稳定换个起点就消失。这种脆弱性让直方图很难成为严谨判断的依据。另外直方图还有一个天然缺陷它估计的是“每个区间内的平均密度”而不是“某个点的瞬时密度”。柱子内部假设分布是均匀的这显然和大多数真实数据不符。连续变量的密度往往是连续变化的直方图却把它强行描述成阶梯函数这种不连续性对后续求导、求分位数的操作非常不友好。1.2 从柱状图到概率密度KDE 的平滑思路KDE 的想法很直观每个样本点不是一个孤立的数值而是在它周围“摊开”一小块概率质量把所有样本摊开的形状叠加起来再做归一化就得到一条光滑的密度曲线。数学上给定 n 个样本点 (x_1, x_2, \dots, x_n)KDE 在任意位置 x 处的密度估计为[ \hat{f}(x) \frac{1}{n h} \sum_{i1}^{n} K\left(\frac{x - x_i}{h}\right) ]其中 K 是核函数h 是带宽。一句话理解对每一个样本点计算它与目标位置 x 的距离通过核函数把这个距离转换成一个“贡献权重”所有贡献求和再除以 nh 做归一化。这里最关键的两个设计就是核函数 K 和带宽 h。核函数决定“每个样本点以什么形状向外摊开”带宽决定“摊开的范围有多大”。如果把每个样本点想象成一颗石子丢进水里核函数就是水波扩散的形状带宽就是扩散半径。多个石子激起的水波叠在一起就形成整体的波纹形状——这就是 KDE 生成的密度曲线。所以 KDE 并不是什么高深莫测的算法它只是在“把离散样本变成连续密度”这件事上比直方图多做了一个关键选择用一个连续函数来替换直方图里的矩形箱子。这个替换带来两个直接好处密度曲线连续可导边界位置的影响也被平滑掉了。2. 核函数和带宽KDE 里两个真正决定成败的参数2.1 常见核函数对比选哪个其实没那么纠结核函数本质上是一个非负、对称、积分为 1 的函数。常见的候选有均匀核、三角核、Epanechnikov 核和高斯核。下表整理了它们的形式和特点核函数数学形式一维特点均匀核(K(u)\frac{1}{2}\mathbb{1}_{|u|\le 1})相当于“移动直方图”不平滑三角核(K(u)(1-|u|)\mathbb{1}_{|u|\le 1})简单但尖顶不光滑Epanechnikov 核(K(u)\frac{3}{4}(1-u^2)\mathbb{1}_{|u|\le 1})理论效率高有界支撑高斯核(K(u)\frac{1}{\sqrt{2\pi}}e^{-u^2/2})无穷支撑光滑性最好从统计效率上看Epanechnikov 核在均方误差意义下是最优的均匀核最差。但实际操作中绝大多数学术研究和工程实现都默认用高斯核包括 scipy 和 scikit-learn 的默认选项。为什么不是理论上更好的 Epanechnikov原因有两个。第一高斯核无穷支撑意味着每个样本点对所有位置都有非零影响这在数学上处理起来非常方便比如求密度的高阶导数、估计置信区间时不用考虑支撑边界。第二高斯核对带宽的敏感程度相对温和自动带宽选择方法大多是针对光滑核设计的。如果你不是在做非参数估计的理论对比实验直接选高斯核基本不会出错。2.2 带宽的真正含义窗口宽度与“每个样本的影响半径”如果说核函数是“形状”带宽 h 就是“尺度”。h 越小每个样本点的影响范围越窄密度曲线越尖锐容易出现大量毛刺h 越大每个样本点的影响范围越宽曲线越平滑但可能把真实的峰谷抹掉。我用一组模拟数据实测过。混合分布数据点分布在 0 到 1000 之间用 scikit-learn 的 KernelDensity 分别设置带宽为 5、20、80得到的曲线差异非常大带宽 5 时曲线呈锯齿状峰值很密但噪声极高带宽 20 时能看到一个大峰和一个右侧小峰形态比较合理带宽 80 时小峰完全被吞掉看起来就是单峰的钟形曲线。这让我意识到带宽本质上就是偏差和方差的权衡旋钮。小带宽的方差大、偏差小容易过拟合大带宽的偏差大、方差小容易欠拟合。实际使用中把 h 想象成“每个样本点影响半径”是最直观的方式。半径太大远方的样本点都在拉扯这条曲线局部特征当然保不住半径太小每个样本点各自为政密度函数就失去了整体的连贯性。说到带宽还需要提一个容易混淆的概念。很多资料会把带宽称为“窗口宽度”但要注意 scipy 的 gaussian_kde 中 bw_method 参数默认是一个缩放系数不是绝对带宽而 scikit-learn 的 KernelDensity 中 bandwidth 才是绝对的窗口宽度。两套工具的参数语义完全不同混用的话非常容易翻车我在第 4 节会专门对比。2.3 偏差-方差权衡为什么带宽选择本质上是模型选择从统计角度来看KDE 的均方误差可以分解成[ MSE(\hat{f}(x)) Var(\hat{f}(x)) Bias^2(\hat{f}(x)) ]带宽 h 增大时参与平滑的样本点变多方差下降但核函数的宽度拉伸使得密度估计偏离真实密度的局部变化偏差上升。反之亦然。所以存在一个最优带宽使两者之和最小。这个权衡和机器学习里模型复杂度选择是同一个道理。太复杂的模型小带宽追求对训练数据的完美拟合却牺牲了泛化能力太简单的模型大带宽泛化能力看似“稳”但连真实结构都刻画不出来。KDE 的带宽选择问题就是在一个连续复杂度轴上找平衡点。从这个角度看KDE 并不神秘它本质上是一个无限维的平滑器而带宽就是它的正则化参数。理解这一点后面再看待自动带宽选择方法就会很清楚它们都是在某种准则下寻找最优复杂度。3. 带宽选择方法从拇指法则到交叉验证3.1 Scott 与 Silverman两个常用经验公式怎么用虽然带宽理论上可以通过最小化 MSE 得到但真实密度未知公式里的偏差项算不出来。统计学前辈们便退而求其次在各种假设下推导出了一些经验公式其中最常用的是 Scott 规则和 Silverman 规则。在一维场景下教科书里的 Scott 规则通常写作[ h_{Scott} 1.06 \cdot \sigma \cdot n^{-1/5} ]这里的 (\sigma) 是样本标准差n 是样本量。Silverman 规则更稳健一些把标准差换成 (\min(\sigma, IQR/1.34)) [ h_{Silverman} 0.9 \cdot \min\left(\sigma, \frac{IQR}{1.34}\right) \cdot n^{-1/5} ]这两个公式的思路都是数据越分散、样本量越少带宽就越大。其中 IQR四分位距对异常值更稳健所以 Silverman 规则在数据存在重尾或者离群点时表现更好。需要特别提醒一点scipy 的 gaussian_kde 在 bw_methodscott 时实际使用的缩放因子是 (n^{-1/(d4)})并没有乘教科书公式里的 1.06 系数两者结果会略有差异。如果拿 scipy 的结果和手动用 1.06 公式算出来的结果对比发现带宽略有不同不用惊慌这是不同实现之间的正常偏差。3.2 交叉验证选带宽不依赖数据服从正态的前提经验公式的弱点在于它们默认数据近似服从正态分布。数据是多峰、重尾或者严重偏斜时公式给出的带宽往往偏大把真实的峰谷结构给抹平了。交叉验证法则不需要这些假设思路更直接。最常用的做法是 K 折交叉验证具体到 KDE 场景流程是这样的把样本分成 K 份轮流拿出 1 份作为验证集用剩下 K-1 份做 KDE 估计然后计算验证集上的对数似然最后把 K 份的平均对数似然作为这个带宽的得分。得分最高的带宽就是最优选择。scikit-learn 里可以非常方便地用 GridSearchCV 配合 KernelDensity 完成这件事import numpy as np from sklearn.model_selection import GridSearchCV from sklearn.neighbors import KernelDensity rng np.random.default_rng(42) data np.concatenate([ rng.normal(300, 40, 800), rng.normal(700, 60, 200), ]) X data.reshape(-1, 1) param_grid {bandwidth: np.linspace(1, 60, 30)} grid GridSearchCV( KernelDensity(kernelgaussian), param_grid, cv5, scoringneg_log_loss, # 负对数似然越大越好 ) grid.fit(X) print(最优带宽:, grid.best_params_)我实测下来这组模拟数据的交叉验证最优带宽大约在 18 到 25 之间。这个范围对应的密度曲线能清楚看到右侧小峰过一遍图形再回看数据交叉验证的结果和肉眼判断比较吻合。3.3 实践用真实数据验证不同带宽的效果用 Python 画一组不同带宽下的 KDE 曲线是最快建立直觉的方法。代码不复杂import numpy as np import matplotlib.pyplot as plt from sklearn.neighbors import KernelDensity X data.reshape(-1, 1) grid np.linspace(0, 1200, 800).reshape(-1, 1) plt.figure(figsize(10, 5)) for bw in [5, 20, 80]: kde KernelDensity(kernelgaussian, bandwidthbw).fit(X) dens np.exp(kde.score_samples(grid)) plt.plot(grid, dens, labelfbandwidth{bw}) plt.xlabel(数值) plt.ylabel(密度) plt.legend() plt.show()运行这段代码你会立刻感受到带宽对图形的影响有多大。带宽 5 的曲线有很多小毛刺虽然能看到右侧峰但峰形被噪声干扰带宽 20 的曲线平滑且保留了两个峰的结构带宽 80 的曲线把右侧峰完全吞并看起来像单峰。关于怎么判断哪个“对”我的经验是如果业务上对右侧小峰有合理的解释带宽 20 就更可信如果没有任何理由相信存在第二类样本带宽 80 也说得过去——带宽选择从来不是纯数学问题它必须结合业务理解。4. Python 三套工具实现 KDEscipy、sklearn、statsmodels 怎么选4.1 scipy.stats.gaussian_kde日常探索分析的第一选择scipy 的 gaussian_kde 是我用得最多的工具因为在探索性分析里它往往只需要两行代码就能出结果from scipy.stats import gaussian_kde kde gaussian_kde(data, bw_methodscott) xs np.linspace(0, 1200, 800) density kde(xs)gaussian_kde 的计算原理是先用数据协方差矩阵计算一个基准带宽再乘以 bw_method 指定的缩放因子。bw_method 可以传 scott、silverman、一个标量也可以传一个自定义函数。如果你要做多组数据的快速对比比如不同实验条件下的密度估计这个接口非常顺手因为不需要手动 reshape 数据。它的一个限制是只能使用高斯核想换 Epanechnikov 核或均匀核做不到。另外gaussian_kde 还会根据数据维数自动调整带宽在二维甚至三维的散点密度估计中也能直接用这是它很大的一个优势。4.2 sklearn.neighbors.KernelDensity需要网格搜索和 CV 时的首选scikit-learn 的 KernelDensity 走的是机器学习标准接口fit / score_samples 风格很清晰。前面的 GridSearchCV 示例已经展示了它做过拟合调参的便利。它的主要优势有三个支持多种核函数gaussian、tophat、epanechnikov、exponential、linear、支持绝对带宽的直接指定、还支持 score_samples 和 score 方法方便做密度对比和异常值评估。我自己实测下来sklearn 的实现对大数据量的支持也比 scipy 更好。当样本量达到几十万时gaussian_kde 在网格上求值会比较慢而 KernelDensity 配合合适的带宽求值要快不少。如果你需要在生产环境里反复用同一个带宽做密度预测比如流式数据的实时异常检测用 sklearn 是更稳的选择。4.3 statsmodels 的 KDEUnivariate统计学检验场景更顺手statsmodels 的非参数模块里有一个 KDEUnivariate 类很多做统计检验的人喜欢用因为它能直接得到密度、累积分布和分位数还能配合统计数据做进一步推断from statsmodels.nonparametric.kde import KDEUnivariate kde KDEUnivariate(data) kde.fit(bwscott, gridsize500) density kde.density support kde.supportKDEUnivariate 支持多种带宽选择方法包括 scott、silverman 以及交叉验证的 cv_ml最大似然交叉验证。如果你的工作流大量使用 statsmodels 做回归或者时间序列分析顺手用它的 KDE 组件能减少引入额外依赖的麻烦。不过坦白说单就 KDE 本身而言statsmodels 的性能和灵活性并不比 sklearn 突出我用它主要出于依赖一致性的考虑。4.4 三套工具对比与选型建议维度scipy.stats.gaussian_kdesklearn.neighbors.KernelDensitystatsmodels KDEUnivariate核函数支持仅高斯核多种核函数多种核函数带宽参数缩放系数相对绝对带宽字符串/数值/自动交叉验证不支持配合 GridSearchCV支持 cv_ml多核并行/大数据一般较好一般接口风格函数式机器学习标准接口统计模型接口选型建议很简单日常画图探索用 scipy需要自动化选带宽或者换核函数用 sklearn已经在 statsmodels 生态里做统计分析直接用 KDEUnivariate 就够了。三套工具的结果在相同带宽下几乎一致不会因为库不同而出现实质性差异。5. 可视化与解读画 KDE 图时最容易忽略的细节5.1 绘图细节采样点数量与图形平滑度的关系KDE 在离散点网格上求值后再用折线图绘制。很多初学者会忽略网格点数这个参数。网格点太少曲线看起来棱角分明会误以为密度本身不平滑网格点太密除了计算变慢并没有实质好处。我实验过一组 1000 个样本的数据网格点数 30 时曲线像粗糙的折线网格点数 200 时曲线基本光滑继续增加到 2000肉眼几乎看不出变化。实际操作中我一般取 500 到 800 个点就足够了。在 scipy 里网格通常要自己用 np.linspace 生成在 statsmodels 的 KDEUnivariate 里gridsize 参数默认 500效果就不错。还有一个容易踩坑的点KDE 曲线下方的面积应该归一化为 1。如果你发现自己的密度曲线整体偏低或者偏高先检查一下是不是网格范围取得太窄导致一部分概率质量被切到了图外。密度曲线不是看纵轴绝对值而是看形态和相对高低这点在解读时很重要。5.2 边界校正数据范围为非负时 KDE 会“泄漏”这是我看很多人忽略的经典问题。如果数据本身不可能为负比如会话时长、响应时间、价格这类变量直接用高斯核对它们做 KDE曲线会有一部分密度“泄漏”到负区间导致靠近 0 的地方密度被系统性低估。举个例子一批响应时间数据最小值是 2 毫秒KDE 曲线却在 x-50 处还有非零值。这不是数据有零或者负值而是高斯核的无穷支撑导致的伪影。解决办法有三种一是只画有效区间并说明曲线在边界处可能失真二是对数据做对数变换后在对数空间做 KDE再映射回原尺度三是使用有界支撑的核函数比如 Beta 核或反射边界修正。实际工作中我优先推荐对数变换。响应时间、金额这类数据取对数后往往更接近正态分布KDE 的效果也更好变换回原始尺度后还能直观解读“中位数附近密度较高”的含义。缺点是变换后的带宽解释起来不如原始尺度直观需要结合业务场景权衡。5.3 从密度到置信区间二维 KDE 的实用扩展一维 KDE 画出来是一条曲线二维 KDE 则可以画出等高线图用来呈现两个变量的联合分布和聚集区域在用户分群、地理热力图、异常点识别等场景里很常用。scipy 的 gaussian_kde 直接支持多维输入。我可以同时传入两个维度在一张网格上计算联合密度再用 contour 或 contourf 画出密度等高线。如果有 400 个样本落在某个区域密度值就会比周围高一大截技术上完全不需要自己写聚类算法就能从等高线图里直观判断数据的聚集结构。需要注意二维 KDE 的带宽选择比一维更敏感因为在两个维度上同时做平滑参数空间变大了。如果两个维度的尺度差异很大比如一个是 0 到 1 的比例一个是 100 到 1000 的金额最好先做标准化否则大尺度变量会主导协方差矩阵导致小尺度方向的带宽失真。6. 实战案例用 KDE 发现“隐藏的双峰结构”6.1 问题背景与数据描述模拟项目里有一批线上服务的响应时间数据共 4000 条记录单位毫秒。业务方最开始用平均值和标准差汇报均值为 520 毫秒标准差 210 毫秒看起来一切正常。但我总觉得数据里藏着某种结构因为分位数显示 P90 和 P95 之间的差距异常大怀疑是两类请求混在一起。用直方图初步验证取 50 个箱子能看到右侧有个不明显的鼓起但换个箱子数量又消失了无法确认。于是我用 KDE 做了一次密度估计设置 bandwidth25网格范围从 0 到 1500import numpy as np import matplotlib.pyplot as plt from sklearn.neighbors import KernelDensity X response_times.reshape(-1, 1) grid np.linspace(0, 1500, 800).reshape(-1, 1) kde KernelDensity(kernelgaussian, bandwidth25).fit(X) dens np.exp(kde.score_samples(grid)) plt.figure(figsize(10, 5)) plt.plot(grid, dens, linewidth2) plt.axvline(x520, colorgray, linestyle--, alpha0.6) plt.xlabel(响应时间 (ms)) plt.ylabel(密度) plt.show()这次曲线清楚显示出一个明显的双峰结构主峰在 430 毫秒附近次峰在 780 毫秒附近。两个峰之间有一条明显的谷说明存在两类响应模式分明的请求而不是同一分布的正常波动。6.2 从 KDE 图回到业务解释两类样本的拆分看到双峰结构之后下一步是找到解释。我按响应时间把样本粗分为两类低于 600 毫秒的视为普通查询高于 600 毫秒的单独提取出来。结果发现高响应时间样本几乎全部来自一个特定的查询模式该模式下数据扫描范围大、缓存命中率低。业务方据此优化了缓存策略让次峰整体左移。这个案例说明三个经验第一平均值会掩盖多峰结构做性能分析不能只看均值第二KDE 相比直方图最大的实际价值就是能把微弱的峰谷结构稳定地呈现出来帮助数据分析师产生可验证的假设第三KDE 图只是一个起点真正落地要靠回到原始数据做分组验证否则峰可能只是统计噪声。从带宽选择的角度再复盘一下这个案例我把带宽 10、25、50 都跑了一遍带宽 10 的曲线毛刺太多但双峰位置还在带宽 25 的曲线最干净双峰最清晰带宽 50 的曲线右侧峰明显被压平。这再次验证了一个观点不要把带宽当成一个需要“精确求解”的魔法数字它是一个需要结合数据规模和业务判断来选择的平滑程度。6.3 我的实操心得与建议最后分享三条这几年用 KDE 攒下来的经验。第一遇到任何新数据先用宽度从小到大跑三条 KDE 曲线对比。不是只信交叉验证选出的“最优带宽”而是观察峰位和峰形对带宽的敏感程度。如果峰的位置随带宽变化很大说明这个峰很可能是噪声需要更多数据或者业务证据来确认。第二KDE 适合探索但不能脱离原始样本做结论。密度曲线上的一个峰必须能在原始数据里找到一批对应的样本否则就算曲线再漂亮也只是一个统计幽灵。实际操作中我一般会在 KDE 图上标出关键分位数再回到数据集里查看分位数附近的具体样本形成“图—数—因”的闭环。第三别忽略数据的边界和尺度。非负数据一定要考虑边界泄漏不同量纲的变量做二维 KDE 前一定要标准化。这些细节看似琐碎却是最容易让 KDE 结果失真的地方。把这几件事做好KDE 就能成为分布探索里最趁手的工具之一帮你在不确定性中找到那些真正值得解释的结构。
阅读完成 · 觉得有帮助？
