★ FEATURED ARTICLE 1. 从零开始梳理数据挖掘和机器学习到底在学什么这年头打开招聘网站数据相关岗位的JD里几乎都写着“熟悉数据挖掘、机器学习”之类的词。但真坐下来学的时候很多人和我一样起初是一脸懵的——数据挖掘和机器学习是一回事吗学机器学习是不是必须先把高数重修一遍那些满天飞的名词——监督学习、特征工程、过拟合、交叉验证——到底哪个先学哪个后学我这份学习笔记就是记录我从零开始啃这块知识的过程。不像教科书那样按章节平推而是沿着“为什么要学、学了能干嘛、具体怎么操作”这条线去走。如果你也是刚开始接触数据挖掘与机器学习还在犹豫从哪下手这篇笔记应该能给你画出一张比较清晰的地图顺带把我踩过的坑也标出来。先直接回答最核心的问题数据挖掘和机器学习是什么关系业界有个比较通用的说法——机器学习是让计算机从数据中自动“学”到规律的方法集合数据挖掘则是用这些方法还有其他统计手段从大量数据中找出有价值信息的完整过程。换句话说机器学习更偏方法论数据挖掘偏业务落地但两者在实际项目中高度重叠。你在Kaggle上看到的那些比赛既是在做数据挖掘也是在做机器学习根本不用太纠结这个边界。再回答第二个问题数学要学到什么程度入门阶段说实话线性代数懂矩阵乘法概率论知道条件概率微积分了解求导的意义基本就能看懂大部分入门内容。真正复杂的推导是后面进阶才需要啃的入门时最重要的是建立直觉——知道哪个模型解决哪类问题、参数大概怎么调。我自己的策略是“用到什么补什么”看到梯度下降里出现偏导看不懂就去复习偏导而不是先把整本高数刷完再开工。整份笔记的规划是这样的先建立全局认知再搞定环境然后吃透核心术语最后用一个小项目把流程串起来。下面按这个顺序展开确保每一步都有可实操的内容。2. 入门工具链与开发环境搭建要点2.1 为什么我选Python作为第一语言入门机器学习的语言选择Python的统治地位短期不会动摇。原因很直接生态太成熟了。NumPy做矩阵运算、pandas做表格处理、scikit-learn和TensorFlow/PyTorch做建模这条链路从数据处理到模型上线全部覆盖社区资料又多遇到问题一搜基本有答案。我不建议入门阶段用R或者Java硬啃。R在统计建模上有优势但通用性不如PythonJava适合大规模工程系统但写模型的效率低生态也散。除非你的工作环境强依赖某个特定语言否则从Python起步是阻力最小的路径。Python版本建议直接用3.9以上版本别碰Python 2早已停止维护。我在一台旧电脑上吃过亏系统自带Python版本太老安装新库时各种报错后来是装了Miniconda才彻底解决。2.2 环境搭建的一站式方案Miniconda Jupyter Notebook环境管理是入门第一个拦路虎。有些同学一上来就pip install一堆包装到一半发现某个依赖冲突系统Python坏掉心态直接崩掉。我推荐的方案是Miniconda管理环境和包Jupyter Notebook做交互式实验。安装Miniconda之后第一件事是配置国内镜像源如果你在国内网络环境下不然下载包的速度会让人怀疑人生。在终端执行# 创建独立环境顺手把常用库装上 conda create -n ml101 python3.9 numpy pandas matplotlib scikit-learn jupyter # 激活环境 conda activate ml101 # 启动Jupyter jupyter notebook这几个命令的背后逻辑值得说清楚。用conda创建独立环境相当于是给每个项目一个独立的“房间”A项目装TensorFlow 2.xB项目用PyTorch互不干扰。比直接在系统Python里乱装包安全得多这也是很多新手容易忽略的。有个细节创建环境时直接把numpy、pandas这些库一起装好省得之后逐个装。首次创建环境会占用一定时间和磁盘空间耐心等待即可。装好后打开Jupyter新建notebook测试一下import是否正常。2.3 我用到的核心Python库及其定位入门阶段不需要贪多先把这几个库的基本操作练熟就够了。我列一张表说明它们的分工这样写代码时你清楚当前在用什么工具库/工具主要用途入门需要掌握的程度NumPy多维数组运算、数学函数创建数组、索引切片、基本矩阵运算pandas表格数据处理、清洗、聚合DataFrame读取、列操作、groupby、缺失值处理Matplotlib数据可视化折线图、散点图、直方图、子图布局scikit-learn机器学习建模数据集切分、模型fit/predict、评估指标Jupyter交互式编程快捷键、cell操作、markdown注释这个组合是机器学习入门的“标准配置”到后面做深度学习才会引入PyTorch/TensorFlow。我的建议是先把pandas和scikit-learn练熟这两个是日常使用频率最高的。matplotlib不用学得多深能画出图看清数据分布就行。实际练习的时候我发现一个比较高效的学习顺序先拿一份现成的CSV数据用pandas读进来这是第一个成就感来源。看到表格数据能被自己代码处理你会觉得“原来没那么难”。3. 核心概念的通俗化理解3.1 模型到底是什么从一次购物预测说起很多教程一上来就甩术语模型、特征、标签、训练、推理……如果没有实际场景看完等于没看。我换一个生活化的类比来说清楚。想象你是一个水果店的老板想预测第二天西瓜能卖多少个。你可能关注几个信息当天温度、是否是周末、有没有促销活动。这里“当天温度”“是否周末”就是特征Feature你关心的“销量”就是标签Label。你记录了过去六十天的这些数据这就构成了一个数据集Dataset。现在你要做的就是让计算机根据这些历史数据自己找一个函数输入是温度、周末与否输出是预测销量。这个函数在机器学习里就叫模型Model。计算机找这个函数的过程叫训练Training。训练结束后你给它一天新的数据只知道温度和是否周末它能输出一个预测销量这个过程叫推理Inference或预测Predict。是不是一下就清楚了机器学习说到底就是“用数据找函数”的工程化学科。所有那些花哨的算法——线性回归、决策树、神经网络——本质上都是不同种类的“函数模板”区别在于模板复杂度和找参数的方式不同。3.2 监督学习、无监督学习和强化学习三者如何区分机器学习按学习方式主流分成三大类。入门阶段核心掌握前两类强化学习可以先了解概念后面用到了再深入。监督学习训练数据里既包含特征也包含答案标签计算机通过看“问题和答案”的配对来学习规律。比如根据历史天气和销量数据预测未来销量训练时就告诉模型过去每一天的实际销量是多少。监督学习又分为回归预测连续值比如销量、房价和分类预测类别比如好瓜坏瓜、垃圾邮件与否。无监督学习训练数据只有特征没有答案。算法要自己从数据中发现结构。最典型的是聚类比如把电商用户按照购买行为自动分成几群事先压根不知道有哪几类人。降维也是无监督学习的范畴用于在高维数据中提取主要特征。强化学习核心是“智能体与环境互动根据奖励信号学策略”。下棋的AlphaGo就是典型的强化学习案例。入门阶段不太会直接涉及知道有这个东西即可。再补充一个表格把监督学习和无监督学习对比清楚对比项监督学习无监督学习训练数据有特征 有标签有特征无标签典型任务分类、回归聚类、降维、关联规则核心目标学习特征到标签的映射发现数据内在结构入门算法线性回归、逻辑回归、决策树、SVMK-Means、DBSCAN、PCA3.3 训练集、验证集与测试集为什么不能一把梭数据切分是机器学习里极其重要的概念也是新手最常忽略的。我第一次做项目时直接把全部数据拿去训练然后在同一份数据上评估准确率高达95%当时还挺得意。后来一看大家都拿部分数据做测试才知道自己闹了笑话。正确思路是这样的把数据集切分成训练集和测试集。常见比例是80%训练、20%测试。模型只在训练集上学习测试集在训练过程中绝对不能碰最后才拿来评估模型表现。这样做的目的是检验模型的泛化能力——也就是它在没见过的新数据上表现如何而不是只会“背答案”。验证集则是从训练集中再切出一部分比如把原数据切分后再按80/20切分训练集和验证集用于在训练过程中调参数。标准的流程是训练集上学参数验证集上选超参数测试集上做最终评估。三者的角色混用的结果就是虚假的高分和上线后的翻车。关于数据切分的比例大原则是数据量越大训练集占比可以稍高一些因为数据量足够时测试集能保持较好的稳定性。2万条数据切80/20是可以的几百条数据就得用交叉验证来反复切分评估避免单次切分带来的偶然性。3.4 特征工程和训练提前建立预处理思维新手刚入门时有一个非常普遍的误区拿到数据就直接喂给模型结果发现效果差得离谱。这里缺的是特征工程这个环节。特征工程简单说就是把你手头的原始数据加工成模型更容易理解的形式包括处理缺失值用均值填补或者删除行、处理异常值、归一化/标准化让不同量纲的数值可比较、编码分类变量把“红/绿/蓝”变成0/1/2或独热码等。后来我意识到一个道理特征工程做得好的数据往往比复杂模型更管用。有时候你辛苦调参不如花点时间构造一个合理的新特征比如把“购买时间”拆成“是否工作日”和“属于哪个时间段”。模型是拿数据说话的你给它喂什么它就学到什么。这部分一开始不用研究太深但必须知道有这些预处理操作并且在实操中用起来。后面第5章我会用完整案例演示一遍从原始数据到建模输出究竟要做哪些事。4. 一个入门必练的小项目IRIS鸢尾花分类4.1 关于IRIS数据集你需要知道的学机器学习几乎绕不开一个“Hello World”级别的经典数据集——IRIS鸢尾花数据集。它简单、干净、量小但麻雀虽小五脏俱全非常适合用来把整套流程跑通。IRIS数据集包含150条样本每条样本有4个特征花萼长度、花萼宽度、花瓣长度、花瓣宽度单位均为厘米对应3个品种Setosa、Versicolor、Virginica每类50条。任务是让模型看特征判断是哪一种鸢尾花。这个数据集为什么适合入门首先特征数量少只有4个不用费心思做高维降维其次类别是3分类不像手写数字识别10类那么复杂再者它完全线性可分至少Setosa和其他两类是意味着即使使用很简单的模型也能得到不错的效果便于验证自己的流程是否正确。4.2 数据加载与探索性分析EDA拿到问题后的第一步不是建模而是先了解数据。在Jupyter中执行# 导入库 import numpy as np import pandas as pd import matplotlib.pyplot as plt from sklearn.datasets import load_iris # 加载数据 iris load_iris() df pd.DataFrame(iris.data, columnsiris.feature_names) df[target] iris.target # 查看基本信息 print(df.head()) print(df.describe()) print(df[target].value_counts())这个阶段的目的是建立对数据的直觉有多少行多少列有没有缺失值每个特征的取值范围类别分布是否均衡在真实的项目中EDA探索性数据分析要花掉整个项目三分之一以上的时间因为只有把数据摸透了才能决定后续特征工程怎么做。我会顺手画几个图看看特征之间的分布关系比如用散点图看花瓣长度和花瓣宽度能不能把三个类别明显分开colors [red, blue, green] for i in range(3): subset df[df[target] i] plt.scatter(subset.iloc[:, 2], subset.iloc[:, 3], ccolors[i], labeliris.target_names[i]) plt.xlabel(petal length (cm)) plt.ylabel(petal width (cm)) plt.legend() plt.show()看到结果时你会很直观地理解什么叫“特征可分性”——花瓣的两个特征基本可以把三个类别分得很开。这就是为什么IRIS适合入门图表一目了然建模后效果好让你有信心继续深入。4.3 数据切分与标准化一个都不能少的标准动作EDA做完后进入正式建模流程的第一步数据切分 特征缩放。数据切分的重要性前面已经说了这里给出代码from sklearn.model_selection import train_test_split X df.iloc[:, :-1] # 特征 y df[target] # 标签 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42, stratifyy )注意两个参数random_state是为了保证随机结果可复现方便别人复现你的实验stratifyy则是按类别比例分层抽样保证训练集和测试集中三个类别各自的比例与原数据集一致。当数据类别不均衡时这个参数尤其关键不加的话可能测试集里某一类样本太少甚至没有。接下来做标准化。标准化Standardization是把数据变成均值为0、方差为1的形式。为什么需要拿鸢尾花的特征来说花萼长度和花瓣宽度的数值范围存在差异某些模型如SVM、KNN、逻辑回归对特征的尺度敏感不同尺度的特征会导致模型训练时对小数值特征不够敏感。标准化的逻辑很简单让每个特征在模型眼中是平等的。from sklearn.preprocessing import StandardScaler scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) X_test_scaled scaler.transform(X_test)这段代码有个细节值得留意fit_transform在训练集上计算均值和方差然后transform在测试集上只用相同的参数做变换不允许在测试集上重新fit。如果对测试集单独fit_transform就相当于测试集信息泄漏到了预处理阶段最后的评估结果会失真。这一点在面试中也是高频考点务必养成习惯。4.4 训练三个入门模型并对比效果数据准备好了终于到了建模环节。入门阶段推荐体验三个模型逻辑回归、K近邻KNN、决策树。三个模型的原理差异很大都能在这个数据集上有不错的表现正好用来感受不同算法的特点。from sklearn.linear_model import LogisticRegression from sklearn.neighbors import KNeighborsClassifier from sklearn.tree import DecisionTreeClassifier from sklearn.metrics import accuracy_score, classification_report models { Logistic Regression: LogisticRegression(max_iter1000), KNN: KNeighborsClassifier(n_neighbors5), Decision Tree: DecisionTreeClassifier(max_depth3, random_state42) } for name, model in models.items(): model.fit(X_train_scaled, y_train) y_pred model.predict(X_test_scaled) acc accuracy_score(y_test, y_pred) print(f{name} accuracy: {acc:.2f})在你学习的过程中建议逐行想一想三个模型各自的特点逻辑回归。别看名字带“回归”它实际做的是分类。核心思想是找到一个线性决策边界加上Sigmoid函数后把输出映射成概率。优点是可解释性高你能直接看到每个特征的权重是正还是负、大概什么量级。K近邻。思路朴实无华找离新样本最近的K个已知样本让这K个样本投票决定分类结果。它不需要显式的训练过程所以也叫“惰性学习”。缺点也很直观当数据量大或特征维度高时预测速度会变慢还容易受无关特征干扰。决策树。像一连串“是/否”的判断。从根节点开始每次按某个特征和阈值把样本分成两个子集直到子集足够纯。它最大的优点是人能看懂——画出来的树可以直接被业务方理解这在很多实际项目中是极大的优势。有一个非常典型的现象三个模型在IRIS上几乎都能达到90%以上准确率。这并不说明你的模型多厉害而是这个数据集本身比较简单。真正有价值的是你通过这个流程理解了一个完整的、标准化的建模管线是如何串联起来的。4.5 超参数到底怎么调以KNN的K值为例超参数Hyperparameter是模型训练前你手动指定的参数而不是模型从数据里学出来的。KNN里的“K”就是最经典的超参数。K值太小模型会过于敏感容易把个别噪音样本当成规律产生过拟合K值太大投票决策会过于平滑连明显的类别差异都被抹平。动手调K的过程其实非常直观可以做一个简单的实验画一条K从1到20的准确率变化曲线import matplotlib.pyplot as plt from sklearn.neighbors import KNeighborsClassifier k_range range(1, 21) accuracies [] for k in k_range: knn KNeighborsClassifier(n_neighborsk) knn.fit(X_train_scaled, y_train) y_pred knn.predict(X_test_scaled) accuracies.append(accuracy_score(y_test, y_pred)) plt.plot(k_range, accuracies) plt.xlabel(K value) plt.ylabel(Test Accuracy) plt.show()通常看到的曲线是先升后降或者在一定区间内波动你需要找一个“甜点”——既不要过拟合也不要不敏感。在IRIS这个小数据集上K在3到10之间通常表现都不错。这只是调参的入门体验实际项目中的调参会用到网格搜索、随机搜索等更系统的方法那些等你的基础稳固以后再去探索就好。5. 实际动手中的坑与对策我的排错记录5.1 训练集和测试集的预处理陷阱这类问题在新手中出现频率最高而且危害很大。比如你在训练集上用标准化测试集上忘了用同样的参数去转换直接用原始数据喂模型模型看到一个尺度完全不同的输入预测结果自然会乱掉。更隐蔽的是“数据泄漏”问题。举个例子你做特征选择时如果用全量数据包括测试集来算每个特征的重要性再据此筛掉部分特征然后再切分数据这种操作会让你的评估结果虚高。原因在于测试集的信息已经被你在不知不觉中“偷看”了。正确的做法是所有涉及数据分布的计算都只在训练集上进行测试集只能出现在最后评估那一步。记得有一次我在做某个模拟项目X时数据清洗阶段用全量数据的均值去填补缺失值之后再切分训练集和测试集结果模型“准确率”异常高。后来检查发现训练集和测试集里的缺失值都用全量均值填充等于我在测试集里也引入了训练集的信息。正确的顺序是先切分数据再分别用训练集的均值来填充训练集和测试集。5.2 随机种子小参数引发的“薛定谔的准确率”另一个新手常见的困惑是为什么我每次跑同一个模型准确率都不一样难道模型是随机猜的其实答案藏在数据切分的“随机性”里。train_test_split默认是随机切分的每次运行都会得到不同的训练集和测试集划分模型的准确率当然会波动。你如果不设置random_state别人也无法复现你的结果。对于这个问题我的建议非常明确所有涉及随机因素的步骤数据切分、模型初始化等都固定random_state参数。这样保证同样代码在任何时间跑出的结果都一致方便debug也方便你分享代码给他人时对方能和你得到完全相同的结果。在正式的项目或比赛中你甚至可以用多个不同的random_state运行多次实验取平均准确率来评估模型的真实能力避免单次划分带来的偶然性。5.3 过拟合的直观理解是“背答案”还是“学规律”过拟合这个概念文字解释好多遍不如一次亲手体验。最直观的过拟合演示就是极端深度的决策树。我用一个简单实验验证过把DecisionTreeClassifier的max_depth参数设置得非常大比如不限制深度让树自由生长直到每个叶子结点都是纯的类别。结果训练集上准确率接近100%但测试集上准确率反而下降。原因很简单树把所有训练数据里的一些偶然模式都记下来了包括噪声导致预测新数据时反而是“只见树木不见森林”。反过来如果max_depth设成1模型又过于简单根本捕捉不到足够的信息训练集和测试集上表现都很差这是欠拟合。好的模型是在这两者之间取平衡保证模型有足够的复杂度去学习数据中的真实规律又不会敏感过头到把噪声当作规律。调试时你可以画出训练准确率和测试准确率随模型复杂度变化的曲线正常情况下两条曲线会有一个“分叉点”——训练准确率继续上升而测试准确率开始下降那个分叉点附近往往就是合适的复杂度位置。这是整个机器学习中最核心的直觉之一值得反复体会。6. 学习的节奏建议与延伸方向6.1 给零基础学习者的4条务实建议根据我自己的经验和踩坑经历给同样在入门阶段的朋友几条实打实的建议不是什么鸡汤都是亲测过的学习方法第一代码一定要动手敲不要光看不练。看教程和视频最大的错觉是“我懂了”实际上手才发现一个变量的类型都能报错。Jupyter Notebook的好处就是下面写代码、上面写笔记边学边记录自己的理解。第二每个项目做完后写总结笔记。我在学习过程中坚持“做完一个项目写一篇笔记”这个习惯帮我梳理了大量知识。写笔记的过程就是把被动学习变成主动输出的过程写完后你会发现自己对知识点的理解深了一层。这份笔记本身就是这个习惯的产物。第三不要纠结于数学推导。入门阶段看公式是为了建立直觉不是让你上台做推导证明。如果一个模型你能用自己的话解释它“大概做了什么”就已经达到第一阶段的合格标准了。数学功底是在进阶过程中慢慢补齐的不要一开始就被劝退。第四善用官方文档但不沉迷。scikit-learn的官方文档非常完善每个模型都有Example和API说明。但入门时不用一个参数一个参数地啃先把fit/predict这些最常用的方法用熟具体的参数在需要的时候查文档即可。6.2 入门之后的知识地图与路线参考走完IRIS这个小项目你的下一步学习路线可以参考这样的“升级路线”先把线性回归和逻辑回归吃透用单变量、多变量的方式理解特征和结果的关系然后学习决策森林随机森林、梯度提升树这是目前表格数据领域最常用也最稳健的模型族接着补上模型评估和调参的系统方法包括交叉验证、网格搜索等。进阶之后如果你的方向偏数据挖掘业务可以进一步深入学习特征工程的各种技巧和业务指标的理解如果偏算法方向可以开始接触深度学习相关内容——从多层感知机开始再到卷积神经网络和循环神经网络。数据挖掘和机器学习的学习本质上不是背概念和公式而是在一个个实际项目中去建立“数据到决策”的完整直觉。入门阶段很多看似基础的操作——数据清洗、切分、标准化、评估——其实是整个数据科学工作中比算法本身更花时间、更能决定成败的部分。我在自己做第一个完整项目时感受最深的一点是跑通一个模型并不难难的是把整个流程的每个环节都理解到位并且知道自己每一步为什么这么做。每当你在实践中遇到一个坑并亲手填平它你对机器学习理解就会更深一层。希望这份笔记能陪你走好开头的这一段路也期待你在自己的第一个数据项目里收获同样的成就感。
阅读完成 · 觉得有帮助？
的四大陷阱：NULL、0值、粒度与语义)
