【人工智能基础05】决策树模型习题

文章目录1. 归一化对决策树的影响2. 选择决策树模型3. 决策树计算4. 基尼系数的优势5. 在叶子上使用线性模型的优缺点1. 归一化对决策树的影响题目对于一些机器学习模型例如神经网络对特征进行归一化(normalization)是一个有效的预处理操作。一个常见的归一化方式是对每一个特征数据减去该特征的均值然后除以该特征的方差。请回答对于基于决策树的一系列算法归一化是否会影响训练结果解答对于基于决策树的一系列算法归一化通常不会影响训练结果。决策树算法在构建树的过程中主要依据特征的信息增益、基尼系数等标准来进行分裂并不依赖于特征的绝对数值大小。它更关注的是特征之间的相对关系以及特征对分类或回归目标的区分能力。而归一化主要是改变特征的数值范围和分布对于决策树算法来说特征的相对大小关系和顺序通常不会因归一化而改变。所以对基于决策树的算法进行特征归一化一般不会对训练结果产生实质性的影响。2. 选择决策树模型3. 决策树计算以下是完善后的带有加权错误率计算公式说明的表格内容步骤详情计算初始分类错误率假设全预测为0类错误样本为1、2、4共3个总样本5个错误率 3÷5 0.6特征1在0.5分割左子树特征1 0.5含样本0标签0错误率 0÷1 0右子树特征1 0.5含样本1、2、3、4标签1、1、0、0错误率 2÷4 0.5加权错误率 (1÷5)×0 (4÷5)×0.5 0.4特征1在1.5分割左子树特征1 1.5含样本0、1、2标签0、1、1错误率 2÷3右子树特征1 1.5含样本3、4标签0、0错误率 0÷2 0加权错误率 (3÷5)×(2÷3) (2÷5)×0 0.4特征2在0.5分割左子树特征2 0.5含样本0、2标签0、1错误率 1÷2 0.5右子树特征2 0.5含样本1、3、4标签1、0、0错误率 1÷3加权错误率 (2÷5)×0.5 (3÷5)×(1÷3) 0.4特征2在1.5分割左子树特征2 1.5含样本0、1、2、3标签0、1、1、0错误率 2÷4 0.5右子树特征2 1.5含样本4标签0错误率 0÷1 0加权错误率 (4÷5)×0.5 (1÷5)×0 0.4首次分割选择示例选特征1在0.5分割左子树特征1 0.5类别0仅样本0右子树特征1 0.5含样本1、2、3、4继续分割右子树特征2在0.5分割左子树特征2 0.5含样本2标签1错误率 0÷1 0右子树特征2 0.5含样本1、3、4标签1、0、0错误率 2÷3加权错误率 (1÷4)×0 (3÷4)×(2÷3) 0.5右子树特征2在1.5分割左子树特征2 1.5含样本1、2、3标签1、1、0错误率 1÷3右子树特征2 1.5含样本4标签0错误率 0÷1 0加权错误率 (3÷4)×(1÷3) (1÷4)×0 0.25最终决策树根节点特征1在0.5分割左子树特征1 0.5类别0右子树特征1 1.5特征2在1.5分割- 左子树特征2 1.5类别1- 右子树特征2 1.5类别04. 基尼系数的优势优势点具体描述计算简单计算过程相对简洁易于理解和实现在处理大规模数据时能有效节省计算时间和资源。纯度衡量直观基尼系数值越小表明数据纯度越高可直观反映数据划分效果清晰判断是否将不同类别数据有效分开。适用于多类别对多类别数据处理效果良好不受类别数量增加的影响能稳定发挥作用准确衡量数据纯度。对数据分布要求低对数据分布没有严格要求在各种数据分布情况下都能较为稳定地衡量数据纯度不会因分布变化而出现较大偏差。5. 在叶子上使用线性模型的优缺点分段线性树在叶子上使用线性模型的优点优点解释拟合能力强相比普通回归树单一的常数预测线性模型能更好地拟合叶子节点内的数据尤其是有线性关系的数据。预测精度高可根据叶子内数据线性特征预测能更准确地预测新数据点。灵活性高线性模型参数可根据数据调整处理复杂数据分布更灵活。分段线性树在叶子上使用线性模型的缺点缺点解释模型复杂普通回归树叶子只需存一个常数分段线性树要存线性模型参数参数增多使模型复杂。易过拟合线性模型拟合能力强训练数据少或有噪声时更容易导致过拟合。计算成本高训练时要在每个叶子拟合线性模型预测时也要更多计算比普通回归树计算成本高。参考《人工智能基础-姚期智》