概率论与数理统计笔记：从抛硬币到用数据说话的完整指南

简介这份PDF笔记面向正在学习概率论与数理统计的高校学生与备考者系统梳理课程核心概念、公式与定理适合课堂同步复习、期末突击及考研基础阶段查漏补缺。内容按随机事件及其概率、随机变量及其分布、随机向量及其分布、数理统计四大板块展开涵盖古典概型与几何概型、分布函数与概率密度、常见离散与连续型分布、数字特征、大数定律与中心极限定理以及点估计、区间估计、假设检验、方差分析和回归分析等考点并以表格形式归纳概念释义与性质便于对照记忆。资源包共1个PDF文件约432KB轻量便携手机与电脑均可随时翻阅。目前已有5985人学习下载适合需要一份条理清晰、覆盖全面的公式定理速查笔记的读者使用。1. 概率论与数理统计笔记从“抛硬币”到“用数据说话”的一门学问抛一枚硬币正面朝上的可能性有多大这个问题三岁小孩都能脱口而出“一半一半”。但如果有人告诉你某批零件的不合格率是 2%你凭什么信你抽了 50 个发现坏了 3 个这算不算“打脸”再往深一层如果一家公司说“用户平均停留时长 8 分钟”这个“平均”到底靠不靠谱误差能有多大这些问题的背后站着同一门学问概率论与数理统计。通俗地说概率论负责“从模型推结果”——已知规则算可能性数理统计负责“从结果反推模型”——拿到一堆数据反过来猜背后的规律。一个正着走一个倒着走合起来就是一套完整的“不确定性处理工具”。搞懂它你才不会把“巧合”当“规律”也不会被一个孤零零的百分比唬住。这份笔记把随机事件、随机变量、随机向量到数理统计四大块串成一条线正好适合拿来建立整体认知。2. 概率论到底在算什么把“不确定”装进公式里2.1 随机事件先学会用集合的语言描述“可能发生什么”概率论的第一课不是算概率而是学会“把话说清楚”。一次随机试验的所有可能结果构成样本空间记作 Ω其中每一个可能结果叫样本点而“我们关心的某件事”就是样本空间的一个子集叫随机事件。比如掷一颗骰子样本空间是 {1,2,3,4,5,6}“掷出偶数”这个事件就是子集 {2,4,6}。一旦用集合来描述事件事件之间的关系就完全对应集合运算A 与 B 同时发生是交集至少一个发生是并集A 不发生是补集。两个事件不可能同时发生叫互斥A 不发生就是 A 的对立事件一个发生与否不影响另一个叫独立。这里有个初学者最容易翻车的点互斥和独立不是一回事。互斥说的是“不能同时发生”独立说的是“发生了也不影响概率”两个非零概率的事件如果互斥那它们一定不独立——因为一个发生另一个就彻底没戏了。还有一个概念叫完备事件组把样本空间切成若干互不重叠、又刚好铺满全集的“块”。它本身不难但它是后面全概率公式和贝叶斯公式的地基值得单独记一笔。2.2 概率的三条公理整个体系只靠三句话撑起来概率是什么不是“感觉上有多大可能”而是一个满足三条规则的集合函数非负性任何事件概率不小于 0、规范性必然事件概率为 1、可列可加性两两互斥的事件并的概率等于各自概率之和。就这三条撑起了整座大厦。从这三条能推出一串常用性质不可能事件概率为 0P(A−B) P(A) − P(AB)对立事件概率之和为 1加法公式 P(AB) P(A) P(B) − P(AB)多个事件时按容斥原理展开。乘法公式则把条件概率串起来P(AB) P(A)P(B|A)多个事件连乘即可。真正让概率论“好用”的是两个公式。全概率公式说如果一件事能通过一组完备的“原因”发生那就把每种原因下的概率加权求和。贝叶斯公式反过来已经看到结果了回头推断是哪个原因导致的。打个比方全概率是“从原因推结果”贝叶斯是“从结果倒查原因”后者在垃圾邮件过滤、疾病筛查里天天用。提示条件概率 P(A|B) 的分母是 P(B)所以 P(B)0 时条件概率没有定义别硬算。2.3 古典概型与几何概型两种“等可能”的算法模板古典概型要求两件事样本空间有限且每个基本事件等可能。此时概率就是“目标样本点数 ÷ 总样本点数”数数就行。几何概型把“数个数”换成“量面积/长度/体积”样本空间是一个可度量的几何区域事件对应其中子区域概率等于子区域度量与总度量的比值只和大小有关和位置形状无关。两者的共同灵魂是“等可能”区别只在有限还是无限。很多人做题时把“有限”当成古典概型的唯一条件忽略了等可能性——比如掷两枚骰子把“点数和”当成基本事件就不等可能了得回到 36 个有序结果去数。3. 随机变量给每个结果贴上一个数字标签3.1 从事件到函数为什么要引入随机变量直接研究事件很别扭因为事件是集合不好做加减乘除。随机变量的思路是给样本空间里每个结果配一个实数把“事件”翻译成“数值满足某条件”。比如掷两枚骰子与其研究“点数和为 7”这个集合不如定义 X 两枚点数之和然后问 P(X7)。这一步转换让概率论从“数集合”升级成“研究函数”。描述一个随机变量核心工具是分布函数 F(x) P(X ≤ x)。它有三条硬性特征单调不减、右连续、取值在 0 到 1 之间且两端极限分别是 0 和 1。这三条同时也是判断“一个函数能不能当分布函数”的充要条件。按取值特点随机变量分两类。离散型的取值可以一个个列出来用分布律 P(Xxᵢ)pᵢ 描述所有 pᵢ 非负且求和为 1。连续型的取值不可数用概率密度 f(x) 描述满足非负且全轴积分为 1而它在任何单点的概率都是 0——这一点常让人困惑概率为 0 不等于不可能发生只是“单点”在连续世界里太瘦了量不出重量。3.2 期望与方差两个数字概括一整条分布一条分布信息量很大但人脑装不下于是用几个“数字特征”来概括。期望 EX 是加权平均反映取值的中心位置方差 DX 衡量取值相对期望的分散程度等于 E(X−EX)²也常写成 EX² − (EX)² 方便计算。标准差就是方差开根号量纲和原变量一致解释起来更直观。期望是线性的E(aXbY) aEX bEY无论独不独立都成立。方差没这么好心D(aXb) a²DX而 D(XY) DX DY 2cov(X,Y)只有独立或不相关时协方差项才消失。这个差别是考试和实战里的高频翻车点。再往上一层是矩k 阶原点矩 E(Xᵏ)k 阶中心矩 E(X−EX)ᵏ。期望是一阶原点矩方差是二阶中心矩三阶中心矩看分布偏不偏四阶中心矩看分布陡不陡。协方差 cov(X,Y) E[(X−EX)(Y−EY)] 衡量两个变量同向波动的程度相关系数 ρ 则是把它标准化到 [−1,1]只反映线性相关强弱。注意不相关只代表没有线性关系不代表一定独立。两个变量可能强烈依赖但相关系数为 0。3.3 常见分布速查什么场景配什么分布离散型里0-1 分布对应“只有两种结果”的一次试验二项分布 B(n,p) 是 n 重伯努利试验中成功次数泊松分布 P(λ) 描述大量试验中稀有事件的频数比如单位时间内的呼叫数、每页的印刷错误数当 n 大 p 小时二项分布可近似为泊松。几何分布 G(p) 是“等到首次成功”的试验次数有无记忆性超几何分布 H(n,M,N) 是“不放回抽样”数次品当 N 很大时可近似二项。连续型里均匀分布 U(a,b) 是“区间内等可能落点”指数分布 E(λ) 常用来描述寿命同样有无记忆性——已经用了多久不影响还能用多久的分布正态分布 N(μ,σ²) 是最常见的“钟形”身高、工件直径、测量误差都爱用它。正态分布的计算靠标准化Z (X−μ)/σ 服从 N(0,1)然后查表。σ 越小钟形越陡σ 越大越扁平。分布参数期望方差典型场景二项 B(n,p)n, pnpnp(1−p)n 次独立试验成功次数泊松 P(λ)λλλ单位时间稀有事件数几何 G(p)p1/p(1−p)/p²首次成功的等待次数均匀 U(a,b)a, b(ab)/2(b−a)²/12区间内等可能落点指数 E(λ)λ1/λ1/λ²寿命、等待时间正态 N(μ,σ²)μ, σ²μσ²自然与社会现象测量值3.4 随机变量函数换了层皮分布怎么跟着变已知 X 的分布要求 Y g(X) 的分布思路分两种。离散型最直接把 g 取值相同的那些 x 的概率加起来就是 Y 取该值的概率。连续型则用分布函数法先写 F_Y(y) P(g(X) ≤ y)把不等式解成 X 的范围再用 X 的密度积分最后对 y 求导得密度。如果 g 单调可导也可以直接用公式 f_Y(y) f_X(h(y))·|h′(y)|其中 h 是 g 的反函数。这里的关键不是背公式而是理解“概率守恒”X 落在某个小区间的概率必须等于 Y 落在对应区间的概率密度只是把这个概率“摊”到 y 轴上所以换元时要乘雅可比因子。4. 随机向量当一件事由多个变量共同决定4.1 联合分布、边缘分布与独立性现实里的随机现象很少只有一个变量。一个人的身高和体重、一次测量的横纵坐标都是“多个随机变量绑在一起”这就是随机向量。二维情形最常用描述工具是联合分布函数 F(x,y) P(X≤x, Y≤y)离散型用联合分布律 pᵢⱼ连续型用联合密度 f(x,y)。从联合分布能“抽”出单个变量的分布叫边缘分布离散型把列联表同一行或同一列的概率相加连续型对另一个变量积分。反过来不成立——边缘分布一般推不出联合分布因为丢掉了变量之间的关联信息。独立性是这里的分水岭X 与 Y 独立当且仅当联合分布等于边缘分布之积离散型是 pᵢⱼ pᵢ·p·ⱼ连续型是 f(x,y) f_X(x)f_Y(y)。判断独立性最稳的办法就是验证这个乘积关系别凭感觉。4.2 条件分布知道一个另一个怎么变给定 X xᵢ 的条件下Y 的条件分布律是 pᵢⱼ / pᵢ·也就是“在 X 取这一值的行里重新归一化”。连续型的条件密度是 f(y|x) f(x,y) / f_X(x)前提是边缘密度不为 0。条件分布是贝叶斯思想和回归分析的起点它回答的是“已知一部分信息另一部分的分布长什么样”。二维常见分布里多项分布是二项分布的推广每次试验有多种结果多元超几何是不放回抽样的推广二元正态则是正态分布的推广其相关系数 ρ 直接刻画两个分量的线性关联。4.3 二维随机向量函数与两个“大数”定理二维函数 Z g(X,Y) 的分布思路和一维一致离散型把满足 g(x,y)k 的所有联合概率加起来连续型先写 F_Z(z) P(g(X,Y) ≤ z)在区域 g(x,y) ≤ z 上对联合密度积分再对 z 求导。再往后是两个撑起“用样本推断总体”的定理。大数定律说样本量足够大时样本均值会依概率收敛到总体均值——这就是“多测几次取平均”的理论依据辛钦大数定律和伯努利大数定律是常用版本。中心极限定理更进一步不管总体什么分布只要独立同分布且方差有限样本均值标准化后就近似服从标准正态——这条定理解释了为什么正态分布在自然界如此普遍也是后面区间估计和假设检验的底层支撑。5. 数理统计拿着数据反过来猜规律5.1 总体、样本与统计量先把“数据”定义清楚数理统计的起点是把研究对象分成总体和个体从总体中随机抽取的一部分叫样本。合格的简单随机样本要满足两条代表性每个分量与总体同分布和独立性各分量相互独立。样本里个体的数量叫样本容量观测后得到的具体数值叫样本值。统计量是样本的函数且不能含任何未知参数——这条限制很关键含了未知参数就没法算。常用统计量有样本均值、样本方差分母是 n−1这样才无偏、样本 k 阶原点矩和中心矩。注意样本方差不是样本二阶中心矩后者分母是 n两者差一个系数这是高频易混点。5.2 点估计与区间估计给参数一个“值”还是一个“范围”参数估计分两条路。点估计直接给一个数矩估计法用样本矩替换总体矩依据是大数定律最大似然估计法则是选一个参数值让“当前这批样本出现的可能性最大”操作上就是写似然函数、取对数、求导令其为零、解方程。点估计好不好看三条标准无偏性平均来看等于真值、有效性均方误差小、一致性样本量增大时依概率收敛到真值。区间估计则给一个范围在给定置信度 1−α 下构造置信下限和上限使得参数落在区间内的概率为 1−α。常用方法是枢轴变量法——找一个含参数但分布已知且不依赖未知参数的样本函数再解不等式。单正态总体下均值 μ 的区间估计分 σ 已知用 U 统计量和 σ 未知用 t 统计量两种方差 σ² 的估计用卡方统计量。双总体则涉及两个均值差和两个方差比的估计分别用正态、t 和 F 统计量。5.3 假设检验先假定再看数据打不打脸假设检验的逻辑很像“反证法”先提出原假设 H₀ 和备择假设 H₁构造检验统计量给定显著性水平 α一个小概率确定拒绝域 W最后用样本算出的观测值判断落不落在拒绝域里。这里有两类错误拒真错误H₀ 为真却被拒绝和取伪错误H₀ 为假却被接受。两者此消彼长除非增大样本量否则没法同时压低所以通常采用“先控制第一类错误、再尽量减小第二类”的原则。单正态总体下均值检验同样按 σ 已知/未知分 U 检验和 t 检验方差检验用卡方双总体用 F 检验比较方差比。除了参数检验还有非参数的皮尔逊拟合优度检验检验总体是否服从某个已知分布和独立性检验用列联表判断两个变量是否独立两者都基于“实际频数与理论频数偏差平方和”构造卡方统计量。6. 什么时候该用、什么时候别硬套一份边界清单这套工具不是万能的用错场景比不会用更麻烦。下面按“能用”和“别用”两类说清楚。场景建议原因样本量小且总体分布未知别急着套正态近似中心极限定理要样本量够大才生效小样本优先考虑 t 分布或非参数方法数据明显有异常值先处理再估计均值和方差对极端值极敏感一个离群点能把结论带偏变量间是非线性关系别只看相关系数相关系数只测线性关联ρ≈0 不代表无关多次重复比较校正显著性水平反复检验会放大第一类错误整体 α 会失控抽样不随机结论别外推统计推断的前提是样本有代表性抽样偏了后面全白搭举个具体例子。某实验室做一批传感器的寿命测试抽了 12 个样品想估计平均寿命并判断是否达到 5000 小时的标称值。这里样本量只有 12总体分布未知正确做法是先看数据有没有明显偏态或异常值用样本均值和样本标准差做点估计区间估计和均值检验都走 t 统计量而不是正态 U 统计量如果数据严重偏离正态还得考虑对数变换或非参数方法。反过来如果硬套正态近似置信区间会偏窄检验的显著性水平也会失真——这就是典型的“公式对、场景错”。我自己的习惯是每次拿到数据先问三件事——样本是不是随机抽的、量够不够、分布大概长什么样这三关过了再动公式。有一次帮人看一组只有 8 个样本的测量数据对方直接上了正态检验结论看着很漂亮但把 t 检验一换显著性就没了。从那以后我每次做估计和检验前都强制先走一遍“样本量—分布—抽样方式”的检查宁可多花十分钟也不让结论建在沙子上。这份笔记把四大块的概念、公式和适用条件整理在一起适合放在手边随时对照。需要完整内容的话下载后按章节过一遍比零散搜公式更成体系。希望帮到你。本文还有配套的精品资源点击获取