概率论与数理统计核心推导：从公理化到抽样分布与参数估计

简介这份《概率论与数理统计笔记.pdf》面向复习概率论与数理统计课程、准备考试或需要快速查阅公式定理的高校学生与自学者侧重把零散概念整理成便于回顾的知识框架。资源为单个PDF文件压缩包约432KB内容以概念释义、性质对比和公式定理归纳为主适合打印或分屏阅读。笔记覆盖随机事件及其概率、随机变量及其分布、随机向量及其分布、数理统计四大部分并延伸到大数定律、中心极限定理、常用统计量、抽样分布、点估计、区间估计、假设检验、独立性检验、方差分析与回归分析等主题对古典概型、几何概型、条件概率、全概率公式、贝叶斯公式及常见离散型、连续型分布也作了条目化梳理。已有5986人学习下载可作为课堂同步整理、期末查漏补缺和考前快速检索的参考材料。1. 概率论与数理统计的分水岭频率为什么不能当公理概率论与数理统计被装进同一本笔记很多人默认它们是同一件事的两种说法一个讲理论一个讲应用。真正翻开才发现分水岭在很靠前的位置——概率论从“概率是什么”出发用三条公理把整套运算搭起来数理统计反过来手里只有样本要倒推总体的参数。前者回答“已知分布能推出什么”后者回答“只有数据能猜出什么”。中间那些被反复回看的公式比如样本方差为什么除以 n−1、p 值为什么不能读成“原假设为真的概率”其实都是这条分水岭上的路标。这份笔记把路标背后的充要条件和随机试验模型一并摊开读起来更像一张推导地图而不是一份公式清单。2. 概率的公理化可列可加性到底在堵哪个漏洞2.1 三条公理各自在堵什么漏洞概率的公理化定义只有三条非负性 P(A)≥0规范性 P(Ω)1可列可加性——若 A₁,A₂,… 两两互斥则 P(∪Aᵢ)ΣP(Aᵢ)。前两条是直觉第三条才是真正的地基。它要求“可列无限个”互斥事件也满足加法而不只是有限个。这个区别不是数学洁癖。如果只要求有限可加那么像“在 [0,1] 上随机投点”这类连续模型就无法自洽单点概率为 0有限个单点加起来还是 0但你无法用有限可加去论证整个区间的概率。可列可加性把“可数无限次拆分”也纳入规则才让分布函数在可数并上的连续性成立。顺着这三条公理能推出一串性质P(∅)0P(A−B)P(A)−P(AB)P(Ā)1−P(A)以及加法公式 P(A∪B)P(A)P(B)−P(AB)。加法公式看着像容斥原理的 n2 特例实际推导是把 A∪B 拆成三个互斥块A−B、B−A、AB再用可列可加性拼回去。推广到 n 个事件就是完整的容斥展开。提示可列可加性直接导致“概率为 0 的事件不一定是不可积事件”。在连续型模型里P(Xx₀)0但 Xx₀ 当然可能发生。这条反直觉结论后面反复出现。2.2 古典概型与几何概型同一个“等可能”两种度量两类概型共用同一个隐含假设——等可能。差别只在样本空间是有限还是无限、用计数还是用测度。对比项古典概型几何概型样本空间有限集合可度量的几何区域 S等可能性每个基本事件概率相同P(A) 只与子区域度量成正比与形状位置无关计算方式计数之比有利样本点 / 总样本点测度之比D 的度量 / S 的度量典型模型抽球、掷骰、排列组合随机投点、会面问题、等待时间概率为 0仅不可能事件任何零测集包括可能发生的单点古典概型的难点从来不在公式而在“数得对不对”。什么时候用排列、什么时候用组合、是否放回、是否有序一步错全盘错。几何概型的难点则在“度量选得对不对”同一条线段按长度算和按面积算得到的概率完全不同度量必须与“等可能”的物理机制对应。两类概型还有一个共同的陷阱等可能性是模型假设不能从数据里验证。现实里很多“看起来等可能”的场景其实并不等可能把假设当成结论是后续所有计算崩盘的第一步。2.3 全概率公式与贝叶斯公式同一式子的正反两用条件概率的定义是 P(A|B)P(AB)/P(B)前提 P(B)0。它的几何含义是把样本空间从 Ω 压缩到 B再做一次归一化——原来 P(B) 的那份概率在条件世界里变成了 1。这个“重新归一化”的动作是后面所有公式的源头。乘法公式是条件概率定义的直接变形P(AB)P(A)P(B|A)。链式展开就是 P(A₁A₂…Aₙ)P(A₁)P(A₂|A₁)P(A₃|A₁A₂)…常用于“分批抽取”类问题。全概率公式处理的是“把一个复杂事件拆成若干互斥原因”若 A₁,…,Aₙ 构成完备事件组两两互斥且并为 Ω则P(B)Σᵢ P(Aᵢ)P(B|Aᵢ)它的推导只用了一步把 B 按 Aᵢ 划分成互斥的 B∩Aᵢ再用可列可加性和乘法公式。本质是“按原因分层层内算条件概率层间加权求和”。贝叶斯公式则是把同一个式子反过来用P(Aₖ|B) P(Aₖ)P(B|Aₖ) / Σᵢ P(Aᵢ)P(B|Aᵢ)分母就是全概率公式分子就是乘法公式。所以贝叶斯公式没有引入任何新原理它只是“已知结果反推原因”时对全概率公式的一次代数重排。对比项全概率公式贝叶斯公式输入各原因的 P(Aᵢ) 与条件概率 P(B|Aᵢ)观测到 B 之后输出P(B)一个边缘概率P(Aₖ|B)一个后验概率方向由因推果由果溯因典型问题“总体不合格率是多少”“检出不合格它来自哪条线”注意完备事件组必须互斥且并为整个样本空间漏掉一个原因全概率公式的分母就不完整后验概率会系统性偏大。贝叶斯公式里 P(Aₖ) 常被叫先验P(Aₖ|B) 叫后验。先验不是“主观臆断”的同义词它是观测发生之前你手里已有的信息观测之后先验被数据修正修正的力度取决于似然 P(B|Aₖ) 在不同原因下的差异有多大。两个原因的似然越接近观测越无法区分它们后验就越接近先验——这也是很多“检测阳性但实际患病率很低”类问题的核心。3. 随机变量与分布函数事件编码成实数后概率怎么变成积分3.1 F(x) 的四条充要条件右连续为什么不能改成左连续随机变量的定义很朴素对样本空间里的每个结果 e指定一个单值实数 X(e)。它把“事件”这种集合语言翻译成“数轴上的区间”从而让微积分工具能进场。分布函数 F(x)P(X≤x) 是这套翻译的接口。它满足四条性质0≤F(x)≤1单调不减右连续F(−∞)0F(∞)1。这四条不只是“性质”而是充要条件——任意一个满足这四条的实函数都能反过来定义一个随机变量。右连续这一条最容易被当成细节忽略。它来自事件序列 {X≤x} 在 x↓x₀ 时递减趋于 {X≤x₀}再由概率的连续性可列可加性的推论得到极限等于 F(x₀)。如果把定义改成 F(x)P(Xx)得到的就会是左连续。换句话说右连续不是数学巧合而是“≤”这个符号的直接后果。由此导出的区间概率公式也要跟着对齐端点P(aX≤b)F(b)−F(a)左端开、右端闭。想算 P(a≤X≤b)得写成 F(b)−F(a−0)连续型无所谓离散型差一个点就是差一份概率。3.2 概率密度不是概率f(x) 凭什么是可以大于 1 的连续型随机变量的定义是存在非负可积函数 f(x)使得对任意实数 xF(x)∫₋∞ˣ f(t)dt。这个 f 叫概率密度函数。密度不是概率。概率是密度在区间上的积分是一个面积。密度函数的值可以大于 1比如 U(0,0.5) 的密度恒为 2完全合法——它只是说明“单位长度上的概率比较密”。连续型的另一个反直觉结论是 P(Xx₀)0。因为单点区间的积分为零。所以对连续型变量P(aXb)、P(a≤X≤b)、P(aX≤b) 全都相等端点加不加等号不影响结果。但在离散型里这三个值可能完全不同。注意把 f(x₀) 读成“X 取 x₀ 的概率”是初学阶段最高频的误解之一。密度只对区间积分有意义单点谈密度不谈概率。密度还有两条常用性质f(x)≥0∫₋∞⁺∞ f(x)dx1。以及在 f 的连续点处F′(x)f(x)——这条把“分布函数”和“密度函数”用微积分基本定理接了起来。3.3 随机变量函数的分布离散合并同像连续走分布函数法已知 X 的分布求 Yg(X) 的分布是这一章最容易出错的地方因为离散和连续的处理方式完全不同。离散型的做法是“同像合并”列出 Y 的所有可能取值 yₖ把所有满足 g(xᵢ)yₖ 的 xᵢ 对应的概率加起来。P(Yyₖ)Σ_{g(xᵢ)yₖ} P(Xxᵢ)。如果 g 不是单射多个 x 会映到同一个 y必须合并而不是覆盖。连续型不能直接代入。通用方法是分布函数法先写 F_Y(y)P(g(X)≤y)∫_{g(x)≤y} f_X(x)dx再对 y 求导得到密度。当 g 严格单调且可导时可以化简成公式f_Y(y)f_X(h(y))·|h′(y)|其中 h 是 g 的反函数绝对值来自 dx/dy 的符号——g 递减时导数带负号但密度必须非负所以取绝对值。下面用一段代码验证 YX² 这个经典的非单调情形import numpy as np rng np.random.default_rng(0) # X ~ U(0,1)做变换 Y X^2 # 理论密度f_Y(y) 1/(2*sqrt(y))0 y 1 x rng.random(200_000) y x ** 2 # 直方图 densityTrue 得到的是“频数 / (样本数 * 组距)”即密度估计 hist, edges np.histogram(y, bins200, range(0, 1), densityTrue) # 在 y 0.25 处对比经验密度与理论密度 idx np.searchsorted(edges, 0.25) - 1 print(经验密度:, hist[idx]) print(理论密度:, 1 / (2 * np.sqrt(0.25))) # 1.0bins200控制分组粒度densityTrue让纵轴变成密度而不是频数searchsorted定位 0.25 所在的组。输出会显示两者都在 1.0 附近。这里之所以要用分布函数法而不能直接套单调公式是因为 X² 在 (−∞,∞) 上不单调本例把 X 限制在 (0,1) 才恰好单调若换成 X~N(0,1)就必须把 x0 和 x0 两支的概率密度叠加f_Y(y)f_X(√y)/(2√y)f_X(−√y)/(2√y)。3.4 常见分布背后的随机试验模型记住分布的名字和公式用处有限记住它对应的随机试验模型才有用——模型决定了什么时候该用它。分布参数期望方差对应的随机试验0-1 分布ppp(1−p)只有两种结果的单次试验二项分布 B(n,p)n,pnpnp(1−p)n 重伯努利试验中成功的次数泊松分布 P(λ)λλλ大量试验中稀有事件出现的频数几何分布 G(p)p1/p(1−p)/p²试验进行到首次成功为止的次数超几何分布 H(n,M,N)n,M,Nn·M/N—不放回抽样中的次品数均匀分布 U(a,b)a,b(ab)/2(b−a)²/12区间内随机投点的坐标指数分布 E(λ)λ1/λ1/λ²各种“寿命”类等待时间正态分布 N(μ,σ²)μ,σ²μσ²大量独立微小因素叠加的结果几个分布之间有近似关系这些关系本身就是机制泊松定理说当 n 很大、p 很小、np→λ 时二项分布 B(n,p) 近似于泊松分布 P(λ)。直觉是“试验次数极多但每次成功概率极低”成功次数只由 λnp 这个平均强度决定。超几何分布在 N 很大时近似于二项分布。因为总体规模远大于样本量时放回与不放回的差别可以忽略。指数分布和几何分布共享“无记忆性”P(Xst|Xt)P(Xs)。离散场景里对应几何分布连续场景里对应指数分布。这条性质是“等待时间”类模型的核心也是指数分布在可靠性分析里地位特殊的根本原因。正态分布的特殊性在于它是唯一一个“标准化之后所有计算都能查表”的分布。若 X~N(μ,σ²)则 Z(X−μ)/σ~N(0,1)P(X≤x)Φ((x−μ)/σ)。F(x) 没有初等表达式所以所有正态概率计算都必须走“标准化 查表”这条路。4. 随机向量与数字特征边缘化、条件化与协方差究竟在测什么4.1 联合、边缘、条件同一个分布的三种投影二维随机向量的联合分布函数定义为 F(x,y)P(X≤x,Y≤y)。它满足与一维类似的四条性质外加一条矩形增量非负P(x₁X≤x₂, y₁Y≤y₂)F(x₂,y₂)−F(x₂,y₁)−F(x₁,y₂)F(x₁,y₁) ≥ 0这条是二维独有的一维的“单调不减”在二维里不够用——必须保证任何一个矩形区域的概率都不为负。边缘分布是把另一个变量“积掉”F_X(x)F(x,∞)连续型下 f_X(x)∫₋∞⁺∞ f(x,y)dy离散型下把列联表同一行的概率相加。边缘化会丢信息联合分布能推出边缘分布反之不成立。条件分布是把联合密度沿某条线切片再重新归一化f_{Y|X}(y|x)f(x,y)/f_X(x)要求 f_X(x)0三者构成一个恒等关系联合 边缘 × 条件即f(x,y)f_X(x)·f_{Y|X}(y|x)当 X 与 Y 独立时条件密度退化成边缘密度这个恒等式变成 f(x,y)f_X(x)f_Y(y)。所以独立性可以理解为“知道 X 的取值对 Y 的判断毫无影响”。二维正态分布是个特例在联合正态的前提下不相关与独立等价。离开这个前提不相关推不出独立后面会给出反例。4.2 期望与方差的线性边界哪些运算无条件成立期望的线性性是无条件的E(aXbY)aE(X)bE(Y)不需要任何独立性假设。这是期望最强大的地方也是它比其他数字特征更常用的原因。但乘法的期望不是无条件的。E(XY)E(X)E(Y) 需要 X 与 Y 独立或至少不相关。把线性性误用到乘积上是推导里最常见的错误来源。方差的性质要复杂一些D(aXb)a²D(X)常数项不影响方差 D(X±Y)D(X)D(Y)±2cov(X,Y) D(X)E(X²)−(EX)²这个公式把二阶矩和一阶矩接了起来。协方差定义为 cov(X,Y)E[(X−EX)(Y−EY)]展开后得到计算式 cov(X,Y)E(XY)−EX·EY。它满足双线性cov(aXc,bYd)ab·cov(X,Y)以及 cov(X₁X₂,Y)cov(X₁,Y)cov(X₂,Y)。如果 X 与 Y 独立cov(X,Y)0反过来不成立。4.3 协方差与相关系数不相关为什么不等于独立相关系数是标准化之后的协方差ρ_XY cov(X,Y) / (σ_X·σ_Y)它把协方差除以两个标准差消掉了量纲使取值范围固定在 [−1,1]。这个界限来自柯西-施瓦兹不等式[cov(X,Y)]² ≤ D(X)·D(Y)等号成立当且仅当存在不全为零的常数 a、b使得 P(a(X−EX)b(Y−EY)0)1也就是 X 与 Y 之间存在严格的线性关系。ρ1 表示完全线性正相关YaXb 且 a0ρ−1 表示完全线性负相关a0。ρ 的绝对值越接近 0线性关系越弱ρ0 时称 X 与 Y 不相关。关键点在于不相关只否定线性关系不否定任何非线性关系。一个经典反例是 X~N(0,1)YX²。此时cov(X,Y)E(X³)−E(X)E(X²)0−00所以 ρ0两者不相关。但 Y 完全由 X 决定显然不独立。原因很简单X³ 是奇函数在对称分布下期望为零协方差恰好抵消。协方差只捕捉二阶混合矩对“平方”这种偶函数关系完全失明。这也解释了为什么在二维正态的语境下可以说“不相关即独立”——正态的密度函数完全由均值、方差、协方差决定二阶矩里已经包含了全部依赖信息。换一个分布这个等价立刻失效。4.4 条件期望与全期望公式按 Y 分层再加权条件期望 E(X|Yy) 是在 Y 取定某个值时 X 的期望。离散型下是 ΣxᵢP(Xxᵢ|Yy)连续型下是 ∫x·f_{X|Y}(x|y)dx。注意 E(X|Y) 是一个随机变量它是 Y 的函数Y 取不同值条件期望就取不同值。而 E(X|Yy) 是一个数。这个区别在推导里很关键。全期望公式说E(X)E[E(X|Y)]离散形式是 Σᵢ E(X|Yyᵢ)P(Yyᵢ)连续形式是 ∫E(X|Yy)f_Y(y)dy。它的机制是“分层加权”先按 Y 的取值把样本空间切成若干层在每层内部算 X 的平均值再按各层出现的概率加权求和。这和全概率公式是同一个思路只不过加权对象从“概率”换成了“期望”。下面用蒙特卡洛验证一下import numpy as np rng np.random.default_rng(1) n 200_000 # Y 等概率取 1 或 2给定 Yy 时X ~ U(0, y) Y rng.choice([1.0, 2.0], sizen, p[0.5, 0.5]) X rng.random(n) * Y # 直接求样本均值 print(E(X) 直接估计:, X.mean()) # E(X|Yy) y/2再对 y 加权0.5*(1/2) 0.5*(2/2) print(E[E(X|Y)] 分层加权:, 0.5 * 0.5 0.5 * 1.0)rng.random(n) * Y实现了“先抽 Y再在 (0,Y) 上均匀抽 X”的两阶段抽样。理论值是 0.75两种算法在 20 万次采样下都会收敛到 0.75 附近。这段代码的价值不在数值本身而在于它把“分层”这个抽象动作变成了可观测的两次抽样。全期望公式在计算复杂期望时经常能把问题降维直接求 E(X) 要面对一个混合分布先求 E(X|Y) 再对 Y 求期望往往每一步都更简单。5. 抽样分布与参数估计的常见问题排查n−1、t 表和置信度的踩坑记录5.1 大数定律与中心极限定理一个讲去哪一个讲怎么去大数定律回答的是“样本均值会不会稳定下来”。依概率收敛的定义是对任意 ε0lim_{n→∞} P(|X̄ₙ−μ|ε)1。注意措辞——是“偏差超过 ε 的概率趋于 0”不是“一定收敛”。三个常用版本各有前提切比雪夫大数定律要求随机变量序列两两不相关且方差有上界 C结论是样本均值依概率收敛到期望的均值。它不要求同分布但要求方差受控。辛钦大数定律要求独立同分布且期望存在结论是 X̄ₙ 依概率收敛到 μ。它不要求方差存在条件更贴近实际。伯努利大数定律是辛钦在两点分布上的特例事件 A 发生的频率依概率收敛到它的概率 p。这条定理是“用频率估计概率”的全部合法性来源。中心极限定理回答的是另一个问题样本均值围绕 μ 的波动长什么样。列维-林德伯格版本说若 X₁,…,Xₙ 独立同分布期望 μ、方差 σ² 有限则标准化后的Zₙ (ΣXᵢ − nμ) / (σ√n)的分布函数对任意 x 收敛到 Φ(x)即近似服从 N(0,1)。两者的分工可以这样记大数定律管“均值去哪”中心极限定理管“偏差怎么分布”。大数定律说 X̄ₙ→μ中心极限定理说 X̄ₙ 在 μ 附近近似服从 N(μ, σ²/n)。那个 σ/√n 不是凭空出现的。X̄ₙ 的方差是 D(ΣXᵢ/n)nσ²/n²σ²/n所以标准差是 σ/√n。样本量翻四倍波动幅度才减半——这就是为什么提高精度需要的样本量增长得比直觉更快。棣莫弗-拉普拉斯定理是二项分布版本B(n,p) 标准化后近似 N(0,1)也就是 B(n,p) 近似 N(np, np(1−p))。它解释了为什么大量独立试验的成功次数会呈现钟形。5.2 卡方、t、F 的构造逻辑为什么 t 的尾巴更厚数理统计里三个抽样分布全部是从标准正态派生出来的构造方式本身就是它们的定义。卡方分布设 Z₁,…,Zₙ 相互独立且都服从 N(0,1)则 χ²ΣZᵢ² 服从自由度为 n 的卡方分布。它有一条极有用的可加性若 χ₁²~χ²(n₁)、χ₂²~χ²(n₂) 且相互独立则 χ₁²χ₂²~χ²(n₁n₂)。期望为 n方差为 2n。t 分布设 Z~N(0,1)Y~χ²(n)Z 与 Y 独立则 TZ/√(Y/n) 服从自由度为 n 的 t 分布。它的密度是偶函数n→∞ 时趋于标准正态n1 时退化成柯西分布。n 越小尾部越厚。F 分布设 U~χ²(n₁)V~χ²(n₂)U 与 V 独立则 F(U/n₁)/(V/n₂) 服从自由度为 (n₁,n₂) 的 F 分布。它天然用于比较两个方差。有个对偶性质F~F(n₁,n₂) 则 1/F~F(n₂,n₁)查表时常用它来换上下分位点。为什么 σ 未知时必须换成 t而不能继续用本文还有配套的精品资源点击获取