建模。这是「一题串一章」的面试题：从估计量性质的语言（无偏、一致、稳健）出发，穿过 OLS 的可逆条件，落到岭与 Lasso 的数值性质。逐问作答。

(a) 推导。零均值假设下 \(\hat\sigma^2=\frac1n\sum_{i=1}^n r_i^2\) 是 \(\sigma^2\) 的无偏、一致估计（零均值、有限二阶矩下得到无偏；独立且有适当矩条件时可谈一致性。只有进一步假设独立正态，方差才为 \(2\sigma^4/n\)，并有卡方分布）。弱点：对离群点不稳健（平方放大尾部）、等权对待新旧信息、忽略波动聚集。改进族：EWMA \(\hat\sigma_t^2=(1-\lambda)\sum_{k\ge0}\lambda^k r_{t-k}^2\) 指数遗忘、GARCH 显式建模条件方差、高频已实现波动率。样本外检验：把估计出的波动率与随后实现的波动率回归（Mincer–Zarnowitz 回归，看截距零、斜率一），或比较多个估计器的样本外 RMSE/QLIKE。

(b) 推导。OLS 闭式解 \(\hat\beta=(X^TX)^{-1}X^Ty\) 需要 \(\mathrm{rank}(X)=p\)。不可逆的三张面孔：完全共线的列（含 dummy 陷阱）、\(p\gt n\)（500 行 1000 列必秩亏）、以及数值上 \(s_p\approx0\) 的病态。岭回归给出始终可逆的闭式解 \((X^TX+\lambda I)^{-1}X^Ty\)，推导见知识点一（对增广目标求导即可）。

(c) 推导。谱的变化就是「整体平移」：\(X^TX\) 的特征值 \(s_j^2\) 变成 \(s_j^2+\lambda\)。条件数从 \(s_1^2/s_p^2\) 变为 \((s_1^2+\lambda)/(s_p^2+\lambda)\)，数值例 \(s_1=10, s_p=0.1\)：\(10^4\to\) 约 \(100\)（\(\lambda=1\)）。每个主方向的系数被乘上 \(s_j^2/(s_j^2+\lambda)\)，弱方向被强收缩。

(d) 推导。Lasso 目标的光滑部分 Hessian 为 \(X^TX\)，梯度下降收敛速率由 \(\kappa(X^TX)\) 控制；\(\lambda\|\beta\|_1\) 不可导但可次梯度处理。实务三件套：先标准化列（让罚项对各特征公平）；用近端梯度/坐标下降，每步软阈值 \(\hat\beta_j\leftarrow \mathrm{sign}(z_j)\max(|z_j|-\lambda,0)\) 处理非光滑；病态严重时用 Elastic Net 或先岭预条件。conditioning 差 = 等值线被拉成细长椭圆 = 折线振荡慢收敛。

检验。一致性核对：\(\lambda=0\) 时 (b)(c) 全部退回 OLS；\(\lambda\to\infty\) 时系数全为零；(c) 的不等式在 \(s_1=s_p\)（正交球对称）时取等号——退化情形自洽。

面试怎么讲。这题的评分点在「逐问而不乱」：每问先给结论公式、再给一句机制解释。可以主动收尾：「编程题库第 73 题『设计矩阵不可逆怎么办』就是 (b) 问——答案是加罚项（岭）、删共线列、或取伪逆 \(X^+=\lim_{\lambda\to0}(X^TX+\lambda I)^{-1}X^T\)，036 章会从工程实现角度再遇它。」

建模。两者同为「OLS + 罚项」，区别全部来自罚项的几何形状，从形状往下推性质。

推导。罚项：Ridge 用 \(\lambda\|\beta\|_2^2\)，Lasso 用 \(\lambda\|\beta\|_1\)。约束区域的形状：L2 球光滑无角，L1球在p维有 \(2p\) 个坐标轴顶点。椭圆等值线与约束区域相切的位置：Ridge 在弧上（系数通常连续收缩，但不能保证每一个都非零），Lasso 常在角上（部分系数精确为零，天然特征选择）。代数上 Ridge 有闭式解 \((X^TX+\lambda I)^{-1}X^Ty\)，Lasso 只有次梯度条件（\(|X_j^T r|\le\lambda\) 时 \(\hat\beta_j=0\)）。相关特征下：Ridge 摊分系数、稳定；Lasso 二选一、选择具有不稳定性——这既是它的卖点也是它的风险。

检验。单特征退化情形：两者都变成对一维系数的收缩（Ridge 乘 \(s^2/(s^2+\lambda)\)，Lasso 减 \(\lambda\) 后截断为零）——方向一致、方式不同，与直觉吻合。

面试怎么讲。背下四层结构：罚项→几何→稀疏性→求解与共线行为，最后补一句「Elastic Net 线性组合两种罚，兼得稀疏与稳定」，体现你知道实践中怎么选。

建模。设原设计矩阵 \(X\in\mathbb{R}^{n\times p}\)（\(p\) 个含截距的参数），复制后 \(X'=\binom{X}{X}\)、\(y'=\binom{y}{y}\)，样本数 \(2n\)、秩仍为 \(p\)。

推导。系数：\(X'^TX'=2X^TX\)、\(X'^Ty'=2X^Ty\)，故

t 统计量：残差平方和翻倍 \(\mathrm{RSS}'=2\,\mathrm{RSS}\)，方差估计 \(\hat\sigma'^2 = 2\mathrm{RSS}/(2n-p)\)；再由 \((X'^TX')^{-1}=\tfrac12(X^TX)^{-1}\)，标准误平方为 \(\hat\sigma'^2\cdot\tfrac12 Q_{jj}\)（\(Q=(X^TX)^{-1}\)）。对比原来的 \(\hat\sigma^2 Q_{jj}=\frac{\mathrm{RSS}}{n-p}Q_{jj}\)：

检验。直觉核对：有效信息没变（系数、\(R^2\) 不动），但「自由度账本」多记了一倍样本，标准误按 \(\sqrt{n}\) 法则缩到约 \(1/\sqrt2\)，显著性被虚增——这正是金融面板里「同一资产录两遍」会假造出星星的机制。极端核对 \(p\to0\)：\(t'=t\sqrt2\) 精确成立。

面试怎么讲。先答「系数与 \(R^2\) 不变；错误按独立复制样本计算时，t放大 \(\sqrt{(2n-p)/(n-p)}\)，n远大于p时才近似 \(\sqrt2\)」，再给上述两行推导，最后点破本质：复制数据骗不过点估计，只骗得过「自由度」——所以诊断重复样本要看标准误的异常变好。

建模。把 OLS 看作把 \(y\) 投影到回归子张成的子空间：原模型对应子空间 \(S\)，加一个随机特征后扩大为 \(S\oplus\mathrm{span}(z)\)。

推导。投影到更大子空间的距离（残差范数）不可能变大——目标函数在更大的可行集上取最小，所以训练残差平方和必然不增（通常严格下降）。高斯噪声下每加一个纯噪声特征，\(\mathbb{E}[\mathrm{RSS}\text{ 的下降}]=\sigma^2\)，即 \(R^2\) 平均虚高约 \((1-R^2)/n\)。这就是调整 \(R^2\) 要除以自由度的原因：

它对「加参数必涨 \(R^2\)」的机械行为收税。而样本外误差不降反可能升：噪声特征在训练集上学到的是采样偶然性，换一组数据就失效——训练误差与泛化误差的分叉即过拟合（知识点三的核心图景）。

检验。极限核对：往模型里塞 \(n\) 个随机特征可以完美拟合任何 \(y\)（\(R^2\to1\)、训练误差 \(\to0\)），但预测完全没用——把「必然下降」推到荒谬即见分界。

面试怎么讲。一句话版本：「最小化是在更大的空间里做的，训练误差单调不增；但样本外误差不保证改善，也可能变差，所以判断特征要看验证集，看训练集 \(R^2\) 会被纯噪声骗。」

建模。中心化后的双特征回归，考察 \(\mathrm{Var}(\hat\beta_1)\) 随两特征相关系数 \(r\) 的变化。

推导。记 \(S_{11}=\sum\tilde x_{1i}^2\)、\(S_{22}=\sum\tilde x_{2i}^2\)、\(S_{12}=\sum\tilde x_{1i}\tilde x_{2i}\)，则

因子 \(1/(1-r^2)\) 就是方差膨胀因子（Variance Inflation Factor, VIF）：\(r=0\) 时无膨胀；\(r=0.9\) 时 VIF≈5.3；\(r\to1\) 时方差爆炸。机制：两个特征几乎共线时，数据无法分辨「效应归 \(X_1\) 还是归 \(X_2\)」，最小二乘在共线方向上自由度过剩，系数沿着这条「无信息方向」大幅摆动，方差随之放大。

检验。量纲核对：\(r\) 无量纲，公式两侧量纲一致；退化核对 \(r=\pm1\) 分母为零——与「完全共线则解不唯一」相接，正是例题 1(b) 的连续版。

面试怎么讲。写出 VIF 公式是硬通货；随后必须补一句平衡：「系数方差变大不等于模型没用——若 \(X_2\) 携带真实增量信息，预测方差可能反而下降；膨胀的是单个系数的解释权。要稳定系数就用岭回归（把 \(s_p^2\) 垫高），要选特征就用 Lasso 或先做相关分析。」

建模。先指出结构性约束：\(p=1000\gt n=500\)，\(\mathrm{rank}(X)\le500\)，\(X^TX\) 必奇异，OLS 无唯一解；而且每样本只摊到半个特征，过拟合风险极高——模型必须自带「降容量」机制。

推导（三个候选及取舍）。其一，Lasso / Elastic Net：L1 罚把多数系数压零，1000 列里自动挑出小支撑集；强相关特征多时 Elastic Net 更稳。取舍：稀疏、可解释，但选集对样本扰动敏感，需 CV 定 \(\lambda\)。其二，岭回归 / PCA 回归：岭直接用 \((X^TX+\lambda I)^{-1}X^Ty\) 恢复可逆性，把方差摊到所有特征上；PCA回归先取若干主成分再回归，维数仍需验证选择；解释较多输入方差不保证保留全部预测信息，把 \(p\) 压到 \(k\ll n\)。取舍：预测通常稳，但主成分是特征的线性组合、解释费力。其三，树集成（随机森林 / 梯度提升）：可以用于 \(p\gt n\)，但仍需限制复杂度与验证；随机森林会在分裂时抽取候选特征子集，并非所有树算法都这样，捕捉非线性与交互，无需标准化。取舍：外推能力弱、高维稀疏线上不如线性模型干脆。共同纪律：线性正则模型按训练期统计量缩放特征（或明确设计量纲惩罚）；树模型通常不要求相同缩放、\(k\) 折交叉验证选超参、留出独立测试集报告性能。

检验。退化核对：若 1000 列里只有 10 列有真信号，Lasso只有在信号强度、特征相关结构、惩罚选择等额外条件适合时，才可能找回这些信号列（支撑恢复），不能保证恰好10列，岭给出的系数会在相关特征间摊开——与知识点二的表格一致。

面试怎么讲。开场先说「\(p\gt n\)，OLS 不可逆」，这一句就证明了你懂结构；然后按「目标」分流：要解释选 Lasso，要预测稳选岭/PCA，要非线性选树集成；最后提数据侧动作（去掉零方差列、按缺失率筛列）体现工程感。

建模。把「相邻两天的预测要接近」写进目标函数：在拟合误差之外，对预测的逐期变化 \(\hat y_{t+1}-\hat y_t\) 加罚。

推导。新目标与一阶条件：

其中 \(D\) 是一阶差分矩阵（第 \(t\) 行为 \(e_{t+1}-e_t\)）。它是「广义岭回归」：把 \(\lambda I\) 换成了沿时间方向的罚 \(\lambda X^TD^TDX\)——不罚系数本身的绝对大小，只罚系数引起的预测跳变。贝叶斯读法：等价于给 \((D X\beta)\) 施加高斯先验（先验精度 \(\lambda I\)），即「预测路径平滑」这一先验信念。两个实操替身：(1) 加滞后项 \(y_{t-1}\) 作特征（自回归化，让模型显式继承昨天的水平）；(2) 对系数差分罚 \(\sum\|\beta_{t+1}-\beta_t\|^2\)（时变系数平滑，即 Kalman 滤波 / 状态空间平滑思想；不应直接当作Holt-Winters的同一算法）。当模型取恒等映射时，一阶差分罚得到Whittaker型平滑；Hodrick–Prescott通常罚二阶差分，不能直接认成这里同一个目标。

检验。极限核对：\(\lambda=0\) 回到原模型；\(\lambda\to\infty\) 时优先压低可表示预测的相邻差；若模型能表示常数，才趋向可行常数中的最优者，否则可能只趋向零向量——两端行为符合「平滑度旋钮」的语义。

面试怎么讲。先把需求翻译成罚项「\(\lambda\sum(\hat y_{t+1}-\hat y_t)^2\)」，写出广义岭形式；再补一句贝叶斯读法（平滑先验）与两个实务替代（滞后特征、时变系数）。追问「会不会牺牲拟合」时答：会，这是偏差换方差，\(\lambda\) 由 CV 定。

建模。四问共用一张地图：横轴模型容量、纵轴误差的图可作入门示意，但验证误差不一定严格先降后升；关键仍是用未参与拟合和选择的数据评估。

推导（作答口径）。模型选择：候选集先按业务与计算预算裁剪；同一数据内用 \(k\) 折 CV（或 AIC/BIC 快筛）选出泛化估计最好的复杂度；最终性能用从未参与选型的测试集报告，超参嵌套在内层 CV 里防泄漏。过拟合：诊断「训练误差远低于验证误差」的剪刀差；治理按优先级——加数据、降容量（减特征、降阶、剪枝）、正则化（L1/L2/早停）、bagging 平均降方差。大模型压缩：量化（int8 权重，换内存延迟）、剪枝（幅值小的权重置零再微调）、蒸馏（教师软标签训小模型）、低秩分解；验收看「精度回吐多少、延迟降多少」。bagging 对 boosting：bagging 并行训多个高方差基学习器取平均，降方差，代表随机森林（深树方差大，平均后稳）；boosting 串行拟合残差，把高偏差弱学习器逐步加成强模型，代表 AdaBoost、梯度提升（浅树偏差大，逐步纠偏）。

检验。交叉核对知识点三的公式：AIC \(=2k-2\ell\) 罚轻、BIC \(=k\log n-2\ell\) 罚重，样本大时 BIC 选出更省的模型——与「BIC 偏好真实模型、AIC 偏好预测最优」的教科书口径一致。

面试怎么讲。这四问是「口径题」，考的是结构化输出：每问先一句总原则（未参与训练的数据定夺 / 容量与数据量匹配 / 压缩是精度换资源 / 方差对偏差），再列 2–3 个手段，各配一个代表算法。避免罗列名词不给取舍。