★ FEATURED ARTICLE 系列《从小白到 AI 大模型开发工程师的进阶之路》 技术点AI-0235 分组、聚合与透视 主人公小蓝伞 前置AI-0233 Pandas Series 与 DataFrame 本期产出独立实验脚本、原始输出、失败样本和验收清单小蓝伞在“分组、聚合与透视”的教学实验中遇到一个容易被结果掩盖的问题小蓝伞对三组均值无权平均得到五十五而四条记录真实均值四十五。程序没有报错错误发生在统计口径。 各组样本量不同时组均值需要按有效计数加权。统计报告的分母、缺失组、缺失值和重复记录必须明确透视表只是展示方式。一、小蓝伞遇到的问题均值由总和除以有效计数得到只保存均值丢失分母信息。A组两条十和二十均值十五B组一条一百缺失组一条五十。三个组均值直接平均为五十五按组有效数量加权则为四十五与总体相同。二、先给结论各组样本量不同时组均值需要按有效计数加权。统计报告的分母、缺失组、缺失值和重复记录必须明确透视表只是展示方式。推荐报告保留总和、有效计数和行数缺失组显式声明跨组或跨天合并从统计状态重算。不推荐省略输入语义和指标口径仅凭单次输出扩大结论。成功判据组计数总和等于4加权与总体均值45一致组均值无权平均55空表返回空。三、任务与数据契约项目本期约定输入完整代码构造的合成数据输出数值、图表或异常及原始日志环境Windows 11、Python 3.13.9依赖见记录不在范围真实业务、生产容量和跨设备性能四、前置准备在新目录保存工作目录中的实验.py为main.py再执行python -m venv .venv .\.venv\Scripts\python.exe -m pip install numpy2.3.5 pandas2.3.3 .\.venv\Scripts\python.exe main.py本次实际执行使用 Windows 11、Python 3.13.9代码只生成合成输入不依赖账号、令牌或隐藏文件。五、核心原理聚合按定义将多条记录合成摘要。sum有效数值的总和。count指定列的有效值数量。size组内记录数量。加权均值按声明权重合并均值。count与size回答不同问题有效值计数通常忽略值列缺失组大小计算组中的记录数。若数据含空分数它们会不同选择哪一个取决于报告问题。金额总和、订单数、有效金额记录数也不能互相替代先写统计单位和过滤规则再执行聚合。透视并不修复定义透视表将分组结果按行列显示聚合函数仍决定含义。重复键会需要聚合简单透视可能拒绝重复。为缺失组显示unknown方便阅读但必须说明它由缺失标签转换不能和真实名为unknown的类别无区分合并。重复事件与权重同一个订单重复采集会同时改变总和和计数均值有时变化小却不是正确报告。按不同样本权重统计也需明确权重单位不能把记录条数当曝光次数。合并多天结果时保留足够统计状态避免逐天平均掩盖大小变化。六、完整项目完整脚本位于_work/第75期-分组、聚合与透视/实验.py。它包含正常、边界和失败断言复制到main.py后可独立运行。import pandas as pd framepd.DataFrame({team:[A,A,B,None],score:[10.,20.,100.,50.]}) groupframe.groupby(team,dropnaFalse).agg(total(score,sum),count(score,count),rows(score,size),mean(score,mean)) print(group.to_string()) print(组均值的均值,group[mean].mean(),总体均值,frame[score].mean(),加权均值,group[total].sum()/group[count].sum()) pivotframe.assign(teamframe[team].fillna(unknown)).pivot_table(indexteam,valuesscore,aggfunc[sum,count]) print(透视,pivot.to_string()) assert group[count].sum()len(frame) emptyframe.iloc[:0].groupby(team).size() assert empty.empty print(空表分组为空缺失分组显式保留) 实现与结果的进一步核验把四条记录手算到结果A总和三十、计数二B总和一百、计数一缺失组总和五十、计数一。总和一百八十除计数四得到四十五组均值十五、一百、五十直接平均五十五。将这些数写出来有助定位口径而不是以库函数正确为理由接受任何汇总。聚合状态的可合并性总和与计数可以跨分片相加均值不能无权相加。最小最大也有各自合并规则精确中位数不能只保存各组中位数就恢复全体中位数。分布式或按天统计时应先决定哪些状态足够不把所有聚合指标都套同一个合并公式。空值与分母示例的延伸如果某组两行只有一条分数size为二而count为一。人均指标是否把缺分当零要由业务定义库默认忽略缺失不能自动解释为真实平均。报告可以同时输出有效比例和计数帮助读者判断不同组均值是否有同样证据强度。透视表的列层级多个聚合函数会形成层级列导出CSV或接口前应声明扁平化命名规则。否则sum-score与count-score丢掉层级后可能同名。透视只是呈现最终表还需要单位、期间和过滤条件图表拿到汇总后也不能自动补这些语义。统计报告与验证检查组大小之和对应输入、总和一致、均值可由状态重算、缺失组策略明确。若不一致按筛选、去重、连接和分组逐步核对每步记录行数。下一期连接可能改变输入基数先确认事件单位才能防止合并后重复统计。七、可复现失败案例无权平均55与总体45不一致缺失组排除会改变总体空表无结果。 这是构造的教学失败不是线上事故。复现顺序是保存输入、运行脚本、记录输出、只改一个条件后重跑。修复后必须同时检查正常样本不能用默认值掩盖错误。八、实验设计与实际结果组计数总和等于4加权与总体均值45一致组均值无权平均55空表返回空。 本次已经执行退出状态为0完整输出见工作目录。控制变量、样本量和参数写在脚本中。total count rows mean team A 30.0 2 2 15.0 B 100.0 1 1 100.0 NaN 50.0 1 1 50.0 组均值的均值 55.0 总体均值 45.0 加权均值 45.0 透视 sum count score score team A 30.0 2 B 100.0 1 unknown 50.0 1 空表分组为空缺失分组显式保留数字怎样对应本期机制分组键缺失不代表这行不存在。脚本明确保留缺失组并检查各组计数和等于输入行数。如果使用默认策略排除缺失键总体就换了报告应注明排除比例与理由不把它称为全量结果。缺失值处理与缺失键处理是两个轴上的问题。九、常见问题与排查顺序先检查对象定义再检查输入、形状、分母、索引或时间点最后检查实现与环境。空表分组为空是合法边界不能凭空产生总体均值。类别类型还可能带来未观察到的组需核对实际版本的observed和缺失策略。本篇不依赖隐含默认后续连接会检验键的基数保证聚合与合并具有一致单位。 不要把一次成功当成稳定性证明也不要把技术指标直接换成业务价值。十、系统与依赖差异本次只在记录的 Windows 和库版本运行。浮点末位、计时、字体、编码和表格默认行为可能跨环境变化未执行部分保持待核验。十一、验证清单执行脚本核对退出状态与本篇实际输出。重跑本篇正常、边界和失败样本检查数值或拒绝结果。更换数据时重新检查对象、分母和评价条件。验收判据组计数总和等于4加权与总体均值45一致组均值无权平均55空表返回空。十二、面试题与追问聚合在本期是什么答按定义将多条记录合成摘要。 均值由总和除以有效计数得到只保存均值丢失分母信息。A组两条十和二十均值十五B组一条一百缺失组一条五十。三个组均值直接平均为五十五按组有效数量加权则为四十五与总体相同。追问改变这个条件后哪一个输出或失败判据应该变化sum在本期是什么答有效数值的总和。 有效值计数通常忽略值列缺失组大小计算组中的记录数。若数据含空分数它们会不同选择哪一个取决于报告问题。金额总和、订单数、有效金额记录数也不能互相替代先写统计单位和过滤规则再执行聚合。追问改变这个条件后哪一个输出或失败判据应该变化count在本期是什么答指定列的有效值数量。 分组键缺失不代表这行不存在。脚本明确保留缺失组并检查各组计数和等于输入行数。如果使用默认策略排除缺失键总体就换了报告应注明排除比例与理由不把它称为全量结果。缺失值处理与缺失键处理是两个轴上的问题。追问改变这个条件后哪一个输出或失败判据应该变化size在本期是什么答组内记录数量。 透视表将分组结果按行列显示聚合函数仍决定含义。重复键会需要聚合简单透视可能拒绝重复。为缺失组显示unknown方便阅读但必须说明它由缺失标签转换不能和真实名为unknown的类别无区分合并。追问改变这个条件后哪一个输出或失败判据应该变化加权均值在本期是什么答按声明权重合并均值。 同一个订单重复采集会同时改变总和和计数均值有时变化小却不是正确报告。按不同样本权重统计也需明确权重单位不能把记录条数当曝光次数。合并多天结果时保留足够统计状态避免逐天平均掩盖大小变化。追问改变这个条件后哪一个输出或失败判据应该变化十三、工程判断与下一期报告保留总和、有效计数和行数缺失组显式声明跨组或跨天合并从统计状态重算。 下一期为AI-0236 合并与连接。本期保留的契约和反例会继续使用。从本地证据到实际决策报告单位的例子统计用户平均与订单平均不一样多订单用户会在订单口径获得更大权重。分组前写出一行表示什么避免按字段方便选择分母。聚合后的每组一行也不意味每组具有同等业务权重权重必须从任务定义推导。时间段合并的具体规则每天总和与有效计数可累计到月份再除得月均值每天均值直接平均会让小量日期和大批日期同权。遇到缺失日需判断零业务或未采集不能把未采集当零。保存聚合状态让后续报表能解释这类差异。计数与质量一起报告同组平均分相同但有效计数不同证据强度不同缺失比例也会影响可比性。报告展示count、size和缺失率可帮助读者发现均值背后信息不足。不要因为表格窄就删掉全部分母必要时分成摘要与质量表。类别与缺失的参数核验类别型分组可能含未观察类别缺失键又受独立参数控制。按实际库版本明确设置避免升级后组数变化被误认为业务变化。本文使用显式缺失策略并用计数和校验控制输入去向不凭默认值做全量承诺。从统计到图表的审查图中柱高可能是均值、总和或计数要继承汇总表的单位与分母。图表排序和过滤也会改变展示人群图注应说明。统计正确但图面省略条件仍可能误导后续可视化篇会把这些参数列入导出验收。业务报告怎样形成完整工件报告不仅保存表面均值还应保存生成脚本、字段字典、输入版本、过滤策略和计数。对本例可从四条原记录逐组核对总和与分母再用透视表展示同一统计确认呈现变化没有改变计算。导出时不要让层级列被无说明截平字段名应说明聚合函数和单位。如果另一份报告均值差十点先比较单位和有效记录数量再比较缺失组、过滤、连接和聚合函数。不要先归咎于浮点误差因为本例差异来自明确分母。修复后用原四条记录验证总体与加权均值相同再换授权数据结果接近不证明定义正确定义一致才允许数值比较。空结果也要包含状态和口径而不是补一个零均值。没有记录与有记录平均零是两种事实后续图表或模型可能据此做不同决策。明确这一项能避免合法空表被误读成业务下降。官方资料Group by: split-apply-combine — pandas 3.0.6 documentation用于核对本期技术机制或接口查阅日期为2026-10-13。适用边界只覆盖脚本中的合成数据、明确假设和已记录版本。真实业务需追加授权、监控、资源预算、回滚和领域验证。
阅读完成 · 觉得有帮助？
计算与应用指南)
