周志华《机器学习》配套可运行代码实践指南

简介本资源是面向机器学习初学者与高校学生的《机器学习》周志华著配套代码实践包聚焦监督学习核心算法的原理实现与实验验证助力读者通过动手复现深化对线性模型、逻辑回归、LDA、决策树、集成学习Bagging/Boosting、SVM及偏差-方差分析等关键内容的理解。压缩包共16个文件含15个Python脚本覆盖LOO交叉验证、CV调参、迭代Bagging、MultiBoosting、SVM简化实现等典型实验及1份结构清晰的README.md说明文档整体仅20KB轻量易读、即下即用。已有508人学习下载适合配合教材章节逐章演练、调试对比不同算法在相同数据上的表现差异。读者可直接运行各模块代码观察训练过程、可视化结果并理解超参影响无需额外配置环境是夯实理论基础与编程能力的高性价比实践素材。1. 这不是一本“看懂就行”的书《机器学习》代码练习.zip 是周志华教材的「实操补丁」专治“公式能推、代码写不出”的硬伤你翻完《机器学习》第3章“线性模型”能手推梯度下降更新公式看到第7章“支持向量机”能默写出对偶问题的拉格朗日函数但当你打开 PyCharm新建一个.py文件想把书里图3.2的“西瓜数据集”跑成决策边界图——卡在X_train, y_train load_watermelon_data()报错NameError: name load_watermelon_data is not defined。这不是你基础差是周志华教材本身不附带可运行代码它用伪代码讲思想用数学推导建框架但所有算法落地都得靠你自己从零搭骨架、填血肉、调参数。而这个名为周志华《机器学习》代码练习.zip的资源就是一线高校教师和工业界工程师多年教学实践中沉淀下来的「最小可行代码补丁包」——它不是第三方魔改版而是严格对齐教材章节第2章至第16章、复现书中全部核心图示如图4.3决策树划分、图8.5 AdaBoost迭代过程、覆盖全部课后习题如习题5.8 BP网络设计的 Python 实现集合。它不替代教材但让你在jupyter notebook里敲run_ch4_decision_tree.py就能看见西瓜数据被递归切分的全过程它不教理论但每个.py文件开头都用# 教材Pxx 图xx 对应实现 标注来源它适合刚学完一章想验证理解的本科生也适合面试前突击“手撕算法”的转行者——只要你需要把纸面知识变成print(model.score(X_test, y_test))的真实输出这个 zip 就是你跳过“查文档→配环境→debug语法错误”三重地狱的最短路径。2. 从解压到跑通用 5 分钟完成《机器学习》第4章决策树的本地复现这本书的代码不是拿来即用的“一键安装包”而是一套需要你亲手激活的“教学脚手架”。它的价值恰恰在于每一步操作都在强化你对教材逻辑链的理解。下面以第4章“决策树”为例带你走通从解压到可视化结果的完整闭环。注意所有命令均基于 Python 3.8 环境无需额外安装 Anaconda 或 Jupyter Lab纯终端即可。2.1 解压与目录结构认知看清这个 zip 包到底装了什么unzip 周志华《机器学习》代码练习.zip -d ml_zhou_practice cd ml_zhou_practice ls -l你会看到类似这样的结构├── ch2_linear_model/ # 第2章线性模型线性回归、对数几率回归 ├── ch3_linear_discriminant/ # 第3章线性判别分析LDA ├── ch4_decision_tree/ # 第4章决策树ID3、C4.5、CART │ ├── data/ # 教材图4.2西瓜数据集csv txt双格式 │ ├── id3_tree.py # ID3算法主实现含信息增益计算、递归建树 │ ├── visualize_tree.py # 将树结构转为 matplotlib 可视化图 │ └── run_ch4_demo.py # 入口脚本加载数据→训练→预测→绘图 ├── ch5_neural_network/ # 第5章神经网络BP算法 ├── utils/ # 公共工具数据加载、评估指标、绘图封装 └── requirements.txt # 仅需 numpy, matplotlib, scikit-learn1.0.2提示requirements.txt中指定scikit-learn1.0.2是关键。新版 sklearn1.2已移除tree.plot_tree的filledTrue参数兼容性会导致visualize_tree.py报错。务必按需降级否则后续所有树图都显示为黑白。2.2 创建隔离环境并安装依赖为什么不用pip install -r requirements.txt直接装直接pip install -r requirements.txt在多数人电脑上会失败——因为scikit-learn1.0.2依赖numpy1.19.5,1.22.0而当前主流 numpy 版本已是 1.24。强行安装会触发版本冲突。正确做法是创建干净虚拟环境python -m venv zhou_ml_env source zhou_ml_env/bin/activate # Linux/macOS # zhou_ml_env\Scripts\activate.bat # Windows pip install --upgrade pip pip install numpy1.21.6 pip install matplotlib3.5.3 pip install scikit-learn1.0.2这三行命令背后是血泪经验numpy1.21.6是sklearn 1.0.2官方测试通过的最高兼容版本matplotlib3.5.3能确保visualize_tree.py中plt.annotate()的中文标签不乱码新版默认字体缺失导致文字变方块跳过pip install -r是因为该文件未声明wheel和setuptools的最低版本直接运行易因构建工具过旧而编译失败。2.3 运行第4章决策树 demo一行命令看到教材图4.3的生成过程进入决策树目录执行入口脚本cd ch4_decision_tree python run_ch4_demo.py成功时你会看到终端输出[INFO] 加载西瓜数据集教材P73 表4.2... [INFO] 使用ID3算法构建决策树... [INFO] 训练完成深度3节点数7 [INFO] 测试准确率100.00% (8/8) [INFO] 正在保存决策树可视化图 → output/id3_tree_plot.png同时项目根目录下生成output/id3_tree_plot.png内容正是教材图4.3的复刻版根节点为“色泽”分支标注“青绿/乌黑/浅白”叶节点标出“好瓜/坏瓜”及样本数。这个图不是静态截图而是由id3_tree.py中build_tree()返回的树结构经visualize_tree.py调用matplotlib动态绘制——这意味着你随时可以修改id3_tree.py中的entropy()函数换成基尼系数再运行一次就能对比 ID3 与 CART 的划分差异。注意若报错ModuleNotFoundError: No module named utils说明你未在ml_zhou_practice根目录下运行命令。utils/是相对导入路径必须保证python run_ch4_demo.py的工作目录是ch4_decision_tree/且ml_zhou_practice/在 Python path 中。临时解决在run_ch4_demo.py开头添加import sys sys.path.append(..)3. 从“能跑”到“真懂”用代码反向拆解教材第5章BP神经网络的数学本质第5章“神经网络”是全书最难啃的章节之一。教材用两页篇幅推导误差逆传播BP的链式求导过程P102-103但初学者常卡在“为什么权重更新是-η * ∂E/∂w_ij”这个 zip 包的价值在于把抽象符号变成可打断点、可打印中间值的 Python 对象。我们以ch5_neural_network/bp_network.py为例逐层剥开 BP 的黑匣子。3.1 网络结构定义为什么layers [3, 4, 1]对应教材图5.7的3层网络教材图5.7展示了一个输入层3节点色泽、根蒂、敲声、隐层4节点、输出层1节点好瓜与否的网络。代码中layers [3, 4, 1]直接映射此结构class BPNetwork: def __init__(self, layers, learning_rate0.1): self.layers layers # [3, 4, 1] self.lr learning_rate # 初始化权重矩阵W[i] 连接第i层到第i1层 self.W [] for i in range(len(layers) - 1): # Xavier初始化权重 ~ Uniform(-sqrt(6/(fan_infan_out)), sqrt(6/(fan_infan_out))) fan_in, fan_out layers[i], layers[i1] w np.random.uniform( -np.sqrt(6 / (fan_in fan_out)), np.sqrt(6 / (fan_in fan_out)), (fan_in, fan_out) ) self.W.append(w)这里的关键是self.W是一个列表self.W[0]是 3×4 矩阵输入→隐层self.W[1]是 4×1 矩阵隐层→输出。教材 P101 式(5.3) 中的w_{hj}隐层第 h 个节点到输出层第 j 个节点的权重就存于self.W[1][h][j]。这种显式矩阵存储让你能用print(self.W[0].shape)验证维度用print(self.W[0][0, :])查看第一个输入节点连接到隐层4个节点的全部权重——这是公式推导无法提供的“触感”。3.2 前向传播a sigmoid(z)如何对应教材 P100 式(5.2) 的净输入与激活教材 P100 定义第 l 层第 j 个神经元的净输入z_j^l Σ_k w_{kj}^l a_k^{l-1} b_j^l输出a_j^l g(z_j^l)。代码中forward()方法完全复现def forward(self, x): self.a [x] # a[0] 输入向量 for i, w in enumerate(self.W): z np.dot(self.a[-1], w) # z a^{l-1} * W^l 无偏置项教材P101说明“为简化省略” a self.sigmoid(z) # a^l g(z^l) self.a.append(a) return self.a[-1]注意两点第一代码省略了偏置b_j^l这与教材 P101 “为简化起见暂不考虑阈值” 完全一致第二np.dot(self.a[-1], w)是矩阵乘法self.a[-1]是行向量如[0.2, 0.8, 0.5]w是 3×4 矩阵结果z是 1×4 向量——这正是式(5.2) 中z_j^l对 j1..4 的批量计算。你可以在此处插入print(fLayer {i1} z {z})亲眼看到隐层4个节点的净输入值再对比教材 P102 表5.1 的数值例子立刻建立符号与数字的映射。3.3 反向传播delta delta W.T * sigmoid_derivative(z)是链式法则的直译教材 P102 推导输出层误差项δ_j^L ∂E/∂z_j^L (∂E/∂a_j^L) * g(z_j^L)再推导隐层δ_h^l Σ_j w_{hj}^{l1} δ_j^{l1} * g(z_h^l)。代码将这一过程压缩为一行def backward(self, y_true): # 输出层误差δ^L (a^L - y_true) * g(z^L) delta (self.a[-1] - y_true) * self.sigmoid_derivative(self.z[-1]) # 从输出层反向遍历到输入层 for i in range(len(self.W)-1, -1, -1): # 更新权重ΔW^l -η * a^{l-1}.T δ^l dW -self.lr * np.dot(self.a[i].T, delta) self.W[i] dW # 计算上一层误差δ^l δ^{l1} (W^{l1}.T) * g(z^l) if i 0: # 输入层无误差项 delta np.dot(delta, self.W[i].T) * self.sigmoid_derivative(self.z[i])这里np.dot(delta, self.W[i].T)就是Σ_j w_{hj}^{l1} δ_j^{l1}的矩阵形式* self.sigmoid_derivative(self.z[i])是g(z_h^l)。当你把断点打在delta np.dot(...)这一行观察delta.shape从(1,)→(4,)→(3,)的变化就直观理解了误差如何从输出层“流回”隐层、再“流回”输入层——这比死记硬背链式法则公式有效十倍。4. 避坑指南那些让《机器学习》代码练习.zip 在你电脑上“静音失败”的5个真实陷阱这个 zip 包在 GitHub 上有 2.3k star但评论区高频问题是“下载了解压了python run_xxx.py没报错也没输出屏幕一片黑”。这不是代码缺陷而是环境、数据、习惯三重耦合的典型翻车现场。以下是我在西电、山大等高校助教实践中收集的 5 个最高频、最隐蔽的坑每一条都附带现象、根因和秒级解决方案。4.1 现象run_ch4_demo.py运行后无任何输出output/目录为空原因ch4_decision_tree/data/下的watermelon3.0.csv文件编码为 GBK中文 Windows 默认而 Python 3 默认用 UTF-8 打开读取时抛出UnicodeDecodeError但代码中try...except捕获后静默跳过导致X, y []后续训练无数据。解决打开ch4_decision_tree/run_ch4_demo.py找到load_watermelon_data()函数将pd.read_csv(data/watermelon3.0.csv)改为pd.read_csv(data/watermelon3.0.csv, encodinggbk)4.2 现象ch5_neural_network/bp_network.py报错ValueError: operands could not be broadcast together原因教材西瓜数据集y是 shape(8,1) 的列向量如[[1],[0],[1],...]但部分用户用 Excel 保存 CSV 时自动删去末尾逗号导致y变成 shape(8,) 的一维数组与a[-1]shape(8,1)做减法时维度不匹配。解决在bp_network.py的train()方法开头强制统一y_true形状y_true np.array(y_true).reshape(-1, 1) # 确保是列向量4.3 现象visualize_tree.py生成的 PNG 图中中文显示为方框原因matplotlib默认字体不支持中文且requirements.txt未声明字体配置。解决在visualize_tree.py开头添加import matplotlib matplotlib.rcParams[font.sans-serif] [SimHei, Arial Unicode MS, DejaVu Sans] matplotlib.rcParams[axes.unicode_minus] False # 解决负号显示为方块4.4 现象ch8_ensemble/adaboost.py运行极慢5分钟CPU 占用 100%原因教材 P174 的 AdaBoost 示例仅用 8 个西瓜样本但代码中DecisionStump类的fit()方法未设置max_depth1导致sklearn.tree.DecisionTreeClassifier默认构建深度不限的树实际在拟合时反复分裂直到纯度100%产生过拟合且计算爆炸。解决修改adaboost.py中DecisionStump的初始化self.clf DecisionTreeClassifier(max_depth1, random_state42)4.5 现象ch12_clustering/kmeans.py聚类结果每次运行都不一样且与教材图12.2差异巨大原因K-means 初始质心随机选择教材图12.2是特定随机种子下的结果。代码未固定random_state导致每次np.random.rand()生成不同初始点。解决在kmeans.py的fit()方法中self.centroids X[np.random.choice(n_samples, k, replaceFalse)]前添加np.random.seed(42) # 与教材图12.2一致的种子提示以上5个坑有4个源于“教材假设理想环境代码实现需适配真实世界”。它们不写在 README 里但几乎每个第一次运行的人都会撞上。把它们记在便签贴在显示器边框能省下至少2小时 debug 时间。5. 进阶技巧用code_diagnosis插件定位“为什么我的修改没生效”——给《机器学习》代码加一层调试透视镜当你开始修改id3_tree.py尝试加入“信息增益率”C4.5或调整bp_network.py的学习率η观察收敛曲线常遇到一种玄学困境代码改了python run_xxx.py也跑了但输出结果和改之前一模一样。你怀疑自己没保存文件重启了终端甚至重装了 Python其实更大概率是——你正在运行的不是你刚编辑的那个文件。这个 zip 包的目录结构天然存在“同名文件多副本”风险ch4_decision_tree/id3_tree.py、ch8_ensemble/id3_tree.py用于AdaBoost基学习器、utils/tree_utils.py通用树工具可能都包含build_tree()函数。你的修改只在 A 文件但run_ch4_demo.py导入的是 B 文件。5.1 用code_diagnosis插件实时追踪真实执行路径code_diagnosis不是某个具体工具名而是指一套轻量级诊断习惯。核心是三行代码插入任意你想确认是否执行的函数开头# 在 id3_tree.py 的 build_tree() 函数第一行插入 import os print(f[DEBUG] 正在执行 {os.path.abspath(__file__)}:{sys._getframe().f_lineno})运行后终端会输出[DEBUG] 正在执行 /path/to/ml_zhou_practice/ch4_decision_tree/id3_tree.py:42这行输出告诉你此刻真正被调用的build_tree()来自ch4_decision_tree/目录下的id3_tree.py而非其他副本。如果输出路径指向utils/或ch8_ensemble/说明导入链出了问题——此时你要检查run_ch4_demo.py的from id3_tree import build_tree是否该为from ch4_decision_tree.id3_tree import build_tree。5.2 用git diff锁定“最后一次有效修改”很多人改代码后忘记CtrlS或编辑了错误的文件副本。最可靠的验证方式是用 Git 快速快照cd ml_zhou_practice git init git add . git commit -m initial commit # 修改 id3_tree.py 后 git diff ch4_decision_tree/id3_tree.py如果git diff输出为空说明你根本没保存修改如果输出显示行是你新加的代码但运行结果没变那问题一定在执行路径回到 5.1。5.3 用pdb交互式验证数学公式落地精度教材 P75 式(4.2) 定义信息增益Gain(D,a) Ent(D) - Σ(|D^v|/|D|)Ent(D^v)。你实现了calc_info_gain()但输出值和手算不符用pdb进入计算现场# 在 calc_info_gain() 函数中插入 import pdb; pdb.set_trace() # 程序将在此暂停 gain ent_D - sum_weighted_ent运行后进入交互式调试器输入(Pdb) p ent_D 0.9975025497161212 (Pdb) p weighted_ent_list [0.4199730940219749, 0.0, 0.4199730940219749] (Pdb) p gain 0.1575563616721714然后拿出计算器用教材 P74 的西瓜数据手算Ent(D)-8/17*log2(8/17)-9/17*log2(9/17)和各分支熵对比p gain输出——你会发现浮点精度误差在1e-15级别确认你的实现完全正确。这种“公式→代码→数值”的闭环验证是建立算法直觉的终极后悔药。我坚持在每次修改核心算法函数后必做三件事加print(__file__)确认路径、用git diff确认修改已存、用pdb打印中间变量。这看起来笨拙但避免了 90% 的“我以为改了其实没改”式自我欺骗。机器学习不是玄学它的每一步推导都该在代码里留下可追踪、可验证、可质疑的痕迹。希望帮到你。本文还有配套的精品资源点击获取