简介机器学习期末复习试题.doc是一份面向机器学习课程期末备考的试题整理适合本科生或初学者梳理监督学习、无监督学习、参数估计、分类器设计等核心考点。资源包含1个doc文档压缩包仅93KB内容精炼便于考前快速过一遍要点。文档围绕九类高频问题展开涉及过学习成因与对策、回归与逻辑回归的区别、BP算法流程、朴素贝叶斯特征独立性影响、最近邻法与三近邻法分类判定、极大似然法求参、线性可分性及核函数、EM算法收敛性等同时给出抛硬币实验的极大似然求参过程、二维样本点最近邻分类计算以及异或问题经特征映射实现线性可分等具体示例。既有概念辨析也有计算推导和例题解答。已有5727人学习下载可作为期末冲刺、笔试准备或考研复习的参考资料能帮助读者快速定位薄弱环节并掌握典型解题思路。 每年期末我都会在朋友圈看到一堆人转发“机器学习复习资料”“机器学习期末试题”但真正点开看大多是零散的公式截图和不知道哪届的旧卷子帮不了多少忙。机器学习这门课和数据结构、操作系统不一样它不靠背靠“推导表述举例子”很多同学复习时把大量时间花在抄公式上到了考场发现题目问的是“为什么这样做”一下就懵了。这篇内容就是围绕机器学习期末复习这个场景来写的核心解决三个问题不同课程体系下考点怎么划分、高频算法怎么复习才能拿分、复习后期和考试现场有哪些容易踩的坑。适合正在备战的本科生、研究生也适合自学完吴恩达或李宏毅课程但想系统检验学习成果的人。里面提到的复习方法、答题思路、时间分配都是我实际备考和带学弟学妹复习时验证过有效的东西。1. 期末复习前先搞清楚你的课程考的是哪种“机器学习”1.1 三类主流课程体系对应的考点差异我在复习群里观察到一个现象同样是“机器学习期末”不同学校的复习重点差得非常大。原因在于机器学习这门课的教材和授课方式五花八门大体可以分成三类。第一类以周志华《机器学习》西瓜书为主要教材特点是理论性强考点集中在决策树划分选择、支持向量机对偶推导、集成学习、聚类算法这些章节。期末考试喜欢出“推导题计算题简答题”比如给你一个数据集手算信息增益或者问你为什么SVM要引入核函数。第二类以李航《统计学习方法》为主线这类课更偏数学考点高度集中在感知机、朴素贝叶斯、逻辑回归、最大熵模型、SVM这些有明确数学表达式的模型上。考试常考“公式推导算法步骤叙述”而且对符号表达要求非常高写错下标的含义都可能扣分。第三类是偏应用导向的以西电、山大等学校的课程为代表平时作业和实验用Python实现算法考试风格介于前两者之间既考概念辨析也考简单计算还会把“课程环境搭建”“模型评估与选择”这些实践内容变成考题。我的建议是复习前先确认自己的课程属于哪一类不要盲目照搬网上流传的“机器学习重点总结”。如果你平时用的是西瓜书和PPT却按李航那套数学体系去复习容易在“统计学习三要素”“策略与算法”这类概念题上失分。1.2 先做三件事复习效率直接翻倍在正式打开课本之前花一个晚上做三件事能省下后面大量的时间。第一把老师PPT里每一章的“目录页”抄下来做成一页纸的大纲。这一步看起来很笨但它能帮你建立全局观避免复习到后半段发现某章完全没看过。第二找到近两年的期末真题或样题把题型分布统计出来。比如一份卷子可能有选择题15道30分、简答题4道32分、计算推导题3道28分、综合设计题1道10分。知道题型之后复习方向就非常明确了——如果你发现简答题占大头那复习重点就应该放在“能写出来”的知识点上而不是抠太细的计算。第三把课程实验的代码和报告找出来重新过一遍每个实验用了什么算法、调了什么参数、出了什么结果。很多学校的期末考试最后一道综合题就是实验题目的变形。完成这三件事你对这门课的考情就有了一个基本判断后面复习起来不会像无头苍蝇一样到处乱撞。2. 高频理论考点的“背写算”三层复习法2.1 监督学习三大算法决策树、SVM、逻辑回归的考点与答题模板决策树是几乎所有学校都考的算法高频考点集中在三个方面信息熵和信息增益的计算、ID3/C4.5/CART三种树生成方式的区别、剪枝的作用与分类。计算题几乎必考所以复习时至少要亲手算一遍信息熵。我提供一个标准答题模板计算信息增益的步骤计算数据集D的经验熵 H(D) -∑(pk × log2(pk))计算每个特征A对数据集D的经验条件熵 H(D|A) ∑(|Di|/|D|) × H(Di)信息增益 g(D,A) H(D) - H(D|A)选择增益最大的特征作为划分特征这套步骤虽然在书上有但考场上很多人会栽在第三步忘记把条件熵里每个子集的经验熵算对。我当时复习时专门找了三个带小数的数据集反复手算练到不会出错才停。SVM的高频考点包括最大间隔的基本思想、函数间隔与几何间隔的区别、核函数的作用和常见类型、软间隔与惩罚参数C的含义。这里我建议你重点准备一个论述题回答逻辑先讲线性可分情况下SVM要找最大间隔超平面然后说明为什么引入函数间隔归一化得到几何间隔再解释对偶问题与核技巧的关系。这条逻辑线几乎能应对90%的SVM简答和论述题。逻辑回归则是高频计算考点。常见问法包括写出sigmoid函数和它的导数、写出交叉熵损失函数、推导梯度更新公式。逻辑回归和线性回归的区别也是一个常考简答题核心答题点包括线性回归输出连续值且用最小二乘/均方误差逻辑回归输出概率值且用交叉熵/极大似然前者是回归问题后者是分类问题。2.2 模型评估与验证验证集、交叉验证、过拟合概念答题怎么不丢分模型评估与选择这一章看起来简单但却是选择题和简答题的密集出题区而且很多同学在这里丢分的原因不是不懂而是答得太口语化。比如“什么是过拟合如何避免过拟合”这个题标准答题结构应当是定义模型在训练集上表现很好但在测试集上表现差泛化能力弱→ 原因模型过于复杂学习了训练数据中的噪声和异常模式→ 解决方法增加训练数据、正则化、降低模型复杂度、早停法、交叉验证、Dropout等。在方法部分如果能结合某个具体算法说出“决策树剪枝”“神经网络中Dropout”这样的具体措施能多拿一到两分。交叉验证也是必考考点但很多同学只知道“K折交叉验证”这个名字说不清里面的细节。答题时要注意三个要点第一把数据分成K份每次用K-1份训练、1份验证轮流进行K次第二最终结果是K次验证结果的平均值第三这样做能充分利用有限数据减少因数据划分随机性带来的评估方差。另外一个常被忽略的概念是“留出法”它的优点是简单高效缺点是结果受训练测试划分比例影响较大。这两个概念放在一起对比复习效果更好。2.3 无监督学习与聚类K-Means、层次聚类、EM思想的高频问法无监督学习的出题权重通常低于监督学习但它几乎必然会出现在简答题里。K-Means是最常考的聚类算法考点包括算法流程步骤描述、K值的选择方法肘部法则、K-Means的优缺点和适用场景。复习K-Means时我建议你按照“初始化→分配→更新→迭代”这套流程去记忆。具体来说随机选择K个初始聚类中心计算每个样本到各中心的距离将其分配到最近的中心所在的簇重新计算每个簇的均值作为新的聚类中心重复上述步骤直到聚类中心不再变化或达到最大迭代次数。考场上如果问“K-Means的初始K值怎么确定”至少要说出来“手肘法依据SSE曲线的拐点”。层次聚类也是常见考点重点在于弄懂凝聚式层次聚类“自底向上”的合并过程以及三种距离度量方式最小距离、最大距离、平均距离。这里有个很经典的对比问法“K-Means和层次聚类有什么异同”答题框架可以这样组织两者都是聚类算法但K-Means需要预先指定K值对初始中心敏感适合大型数据集层次聚类不需要预先指定类别数但计算复杂度较高适合小规模数据。3. 手推公式别硬背期末常考的推导题这样准备3.1 线性回归与逻辑回归的梯度推导机器学习期末的推导题并不神秘考来考去就几个模型。线性回归的推导题通常是给定损失函数 J(θ) (1/2m)∑(hθ(xi)-yi)²求解 θ 的更新规则。解题关键在于分步求偏导先把 hθ(xi) θTx 代入再对 θj 求梯度最后得到 θj : θj - α(1/m)∑(hθ(xi)-yi)·xi(j)。这个过程不复杂但很多同学会漏掉系数或者说错下标每写一步之前都要检查一下。逻辑回归的推导比线性回归复杂一点因为损失函数换成了交叉熵。核心推导逻辑是对单个样本如果属于正类损失为 -log(hθ(x))属于负类为 -log(1-hθ(x))合并写成 -ylog(hθ(x)) - (1-y)log(1-hθ(x))。求导时关键在于利用 sigmoid 函数的性质 g(z) g(z)(1-g(z))化简之后梯度形式和线性回归非常相似。这一题的“得分点”在于能否写出sigmoid求导性质这一步很多人卡在这里。3.2 朴素贝叶斯与最大似然估计的推导套路朴素贝叶斯推导题的常见考法给出训练数据让你估计先验概率和条件概率。这一类题遵循固定套路先由最大似然估计推出“频率概率”的结论再处理平滑问题。比如“拉普拉斯平滑在哪儿用”就是高频考点答案是在估计条件概率时给每个取值加一个平滑参数λ避免出现零概率。至于为什么需要它是因为“贝叶斯派”认为不应该因为数据中没出现就认为不可能发生。另一种考法是证明朴素贝叶斯的“独立性假设”极大简化了联合概率的计算。答题时写清楚给定类别 y 后各特征条件独立因此 P(x1,...,xn|y) ∏P(xi|y)把指数级的参数估计降为线性级。如果考试问“为什么朴素贝叶斯在特征强相关时效果不好”你就答独立性假设在现实数据中很难成立当特征之间存在强相关时概率估计会产生偏差影响分类结果。3.3 SVM对偶问题怎么推到能拿步骤分SVM推导题是很多人的噩梦但实际考试中考查的深度通常不会超过“从原始最优化问题到对偶问题”的第一步转换能把凸优化背景下的拉格朗日乘子法写出来就已经能拿到大部分步骤分了。我建议复习时记住三件事。第一原始问题是带约束的凸二次规划min (1/2)||w||² s.t. yi(w·xib) ≥ 1。第二构造拉格朗日函数 L(w,b,α) (1/2)||w||² - ∑αi[yi(w·xib) - 1]对 w 和 b 求偏导并令其为零得到 w ∑αiyixi 和 ∑αiyi 0。第三代入原式得到对偶问题此时出现了 xi·xj 的内积形式顺理成章引出核函数将内积替换为 K(xi,xj) 就能处理非线性问题。这三步如果都能写出来推导题的分数基本就拿到了。特别提醒一下SVM的推导题最怕“跳步”不要觉得某一步显然就省略不写每一步都值得写清楚。4. 头歌平台实验复习从“能过”到“能考”的关键差异4.1 实验题的常见题型与易扣分点由于许多学校采用头歌平台Educoder布置机器学习实验期末复习时“过一遍实验”就显得格外重要。从热搜词来看“头歌机器学习”相关的搜索量很大说明大家都在这一块遇到了困难。我在头歌上做过的实验大致分几类线性回归、逻辑回归、决策树、支持向量机、多分类学习、模型评估。每一类实验的常见题型是“填空式编程”也就是平台提供了一个算法框架留出几行核心代码让你补全。复习时不能只记答案要能理解每一行补全代码在整个算法流程中的位置和作用。易扣分点主要有三个。第一个是数据预处理遗漏很多实验要求在建模前做标准化或归一化漏掉这一步后续模型表现就会出现明显差异。第二个是参数设置不匹配比如决策树实验要求设置 max_depthSVM实验要求指定核函数这些参数在期末考试中可能会以“选择题”或“简答题”的形式出现考你是否知道设置了什么、为什么这样设置。第三个是评价指标混淆实验报告里经常要求同时给出准确率和F1值很多同学写的时候不明白两者的区别考试时一旦考到“什么情况下应该用F1而不是准确率”就答不上来。4.2 从实验题反推核心知识点头歌实验其实是一个很好的复习工具因为每个实验背后都对应一个或几个核心考点。我一贯的做法是把一个实验能做出来但还要问自己三个“为什么”——为什么这里用这个算法为什么这里做特征缩放为什么这里用交叉验证而不直接用固定划分举个例子逻辑回归实验通常要求手写梯度下降或使用sklearn库实现这两个版本对应两种考试题型手写版本对应推导题要求你理解损失函数和梯度更新过程sklearn版本对应应用场景题要求你知道“逻辑回归适用于二分类问题”“predict与predict_proba的返回值区别”这类细节。同样地决策树实验经常以“收入预测”为背景背后考的知识点就是“决策树做分类时特征选择的方法”如果你能在实验报告里把信息增益的计算过程写出来考试遇到类似计算题就完全不慌。所以复习实验的正确姿势不是“跑通就算完”而是把实验当成一个引子顺着它回到教材和PPT里找到对应章节把知识和代码一一对应起来。5. 冲刺阶段构建“一页纸”知识图谱与真题复盘法5.1 把知识点压缩成一页纸到了考前一周厚厚一本书已经不可能逐页翻一遍了。这时候最有效的复习手段就是我自己一直在用的“一页纸知识图谱”。做法很简单拿一张A4纸从中心开始按章节画出主干和分支把每一章的高频考点用关键词形式写在分支上。这张纸不要追求完整要追求“高信息密度”。比如监督学习这一块可以写“线性回归-最小二乘/梯度下降”“逻辑回归-sigmoid/交叉熵/二分类”“决策树-信息增益/基尼/预剪枝后剪枝”“SVM-间隔/核函数/软间隔”等。写完之后对着这张纸从第一个词开始像讲课一样把每个知识点用自己的话说一遍说不出来的就是你的薄弱点再看书补上。这个过程看起来简单但它强迫你主动回忆而不是被动翻书。被动翻书有一种“看到都认识”的错觉一旦合上书就什么也写不出来。用一页纸自测能直接暴露真问题效率远高于反复通读PPT。5.2 真题复盘的有效方法如果你手头有往年真题刷题的方式也要注意。我不建议直接从头到尾做整张卷子而是按题型分块突破先把所有选择题做完对答案、弄懂每个错误选项再统一做简答题对照标准答案看自己遗漏了哪个得分点最后做计算推导题一定亲手写在纸上不要只在脑子里面过一遍。特别要说的是“简答题的得分点意识”。同一个知识点回答10个字和回答80个字分数是截然不同的。比如“什么是交叉验证”只答“把数据分成几份轮流做训练和测试”只能拿一半分标准回答应当包含操作流程、最终结果计算方式、目的效果三个部分。我复习到后期每次做完简答题都会对比自己写的答案和高分答案把漏掉的“术语关键词”标记出来比如“减少方差”“充分利用数据”“避免随机划分带来的偏差”这些词往往就是阅卷时找的采分点。6. 考前一周的实战经验与踩坑提醒6.1 复习时间的“三七法则”根据我的个人经验考前一周的复习时间应该按“三七法则”分配70%的时间用来整理、记忆和推导高频考点30%的时间用来做“模拟自测”。很多同学刚好搞反了把大量时间花在翻书和看视频上真正动笔和动脑的时间少得可怜。具体操作上我建议考前第4天到第2天每天做一套自测题可以是真题也可以是按题型自己攒的练习卷。做的时候严格按照考试时间控制节奏比如选择题15分钟、简答题40分钟、计算题50分钟剩下时间检查。这个过程不是为了押题而是为了养成“答题节奏感”避免考场上在一道卡壳的题上消耗太多时间导致后面的大题来不及写。另外特别提醒考前三天一定要抽出一晚把实验代码过一遍。不是让你重新写一遍而是把每个实验的核心函数和参数设置都过目一遍因为期末卷子的综合题几乎都是“实验变体”你对代码越熟悉在考场上看到类似题目就越淡定。6.2 考场答题顺序与“会而不全”问题机器学习期末考试普遍存在一个特点题目数量大、分值分布分散推导题和简答题耗时较多。我建议拿到卷子后的前两分钟不要动笔快速浏览全部题目在题号旁边标上“会的”“犹豫的”“不会的”标记先从“会的”开始写。这样做有两个好处。第一建立信心把确定能拿的分数先锁进口袋第二为后面思考难题留出缓冲时间避免因为卡在送分题上导致最后时间紧张。“会而不全”是在机器学习阅卷中非常常见的问题尤其是简答题。很多同学明明知道知识点但只写了关键词缺少展开说明。比如回答“什么是过拟合”只写“模型太复杂”却不展开“在训练集表现好、测试集表现差”这个定义和“增加数据、正则化、剪枝”等解决手段这样的答案是拿不满分的。所以考场上写完一道简答题后多花30秒检查一遍定义、原因、解决办法这三个要素是不是都有如果缺一个哪怕是凭直觉补几句都可能多拿1到2分在绩点边缘的时候这一两分特别关键。还有一个小经验是复杂的推导题即使做不出来也要把能写出来的步骤写上去。比如SVM对偶推导就算最后一步化简不出来拉格朗日函数的构造和求偏导的过程写在卷面上也能拿到大部分步骤分。空着不写一定是零分写一部分则可能拿到三四分这种分数在期末总评的档位划分上有时候就是及格与不及格、4.0与3.7的区别。我复习机器学习的时候最吃亏的一个习惯就是总在草稿纸上推公式却很少正儿八经把完整答案写在A4纸上。到了考场上才发现脑子里想得通和笔下写得完整是两回事符号、下标、步骤顺序都会因为紧张而出错。所以请你务必在复习阶段就模拟“在答卷上写字”的感觉至少完整写五道推导题和十道简答题。这样练过之后你上考场的手感和信心都会完全不一样。本文还有配套的精品资源点击获取