先补台阶，再读回归
本册面向忘了数学基础的读者，不要求先看其他书。每节只做一种动作：读式子、算误差、求变化率、整理方程、理解不稳定性。先遮住解答算一次，再换一个数复算。这里的自编例子用于解释方法，不是真题频率统计。
一、下标、加总与平方和
三次观测为2、3、5，记作 \(y_1=2,y_2=3,y_3=5\)。右下角表示记录编号，不是乘法。\(\sum_{i=1}^3y_i\) 读作“让i依次取1、2、3，把对应的数相加”：\(2+3+5=10\)。平均值写作 \(\bar y=10/3\)。横线表示取平均，并不是一个新的未知数。
先平方再加，得到 \(2^2+3^2+5^2=4+9+25=38\)；先加再平方，得到 \((2+3+5)^2=100\)。括号和运算顺序不同，不能交换。若预测为1、4、4，用帽子 \(\widehat y_i\) 表示预测，残差 \(e_i=y_i-\widehat y_i\) 就是1、−1、1。残差之和为1，平方和为 \(1+1+1=3\)。
换成预测2、2、5，残差变为0、1、0，平方和为1；若预测全对，平方和为0。最小二乘就是用这个总分比较参数产生的预测。自测：残差(2,−2,0)的和与平方和？0与8。和为0不能推出预测正确。
二、配方：完整算出岭回归的1.5
只有一个观测3，用一个待选参数b预测。b=1时误差2、平方4；b=3时误差0。因此原目标 \(J_0(b)=(3-b)^2\) 在b=3最小。现在加一个偏好：不希望参数太大，于是目标变成 \(J(b)=(3-b)^2+b^2\)。
b=3时两项合计0+9=9；b=0时为9+0=9；b=1.5时为2.25+2.25=4.5。目标比较的是拟合误差与惩罚的合计。下面证明1.5不是靠试数猜出来的。
第五行的理由是 \((b-1.5)^2=b^2-3b+2.25\)，要减去2.25才与原来的式子相等。平方非负，所以总目标至少4.5；b=1.5时确实达到下界，故它是全局最优。
一般惩罚强度记作 \(\lambda\ge0\)，目标为 \((3-b)^2+\lambda b^2\)。这个例子中b是唯一受罚系数；含截距的真实回归通常不罚截距，不能把本例推广成“所有预测都往0收缩”。自测：λ=2时先猜b=1，目标是 \(4+2=6\)；下一节会证明它最优。
三、导数与梯度：参数改变一点会怎样
先把一般目标乘开，得 \(J(b)=9-6b+(1+\lambda)b^2\)。把b换成b+h时，先用\((b+h)^2=b^2+2bh+h^2\)，得到\(J(b+h)=9-6b-6h+(1+\lambda)(b^2+2bh+h^2)\)。再减去\(J(b)=9-6b+(1+\lambda)b^2\)，两式的9、−6b及\((1+\lambda)b^2\)分别抵消：
除以非零h，再让h趋近0，最后一项消失，得到导数 \(J'(b)=-6+2(1+\lambda)b\)。在λ=1、b=0时导数−6，说明提高一点b能降低目标；b=3时导数6，说明再提高b会让目标变大。
平滑、无边界约束的内部最优点须满足导数0。于是 \(2(1+\lambda)b=6\)，两边除以正数 \(2(1+\lambda)\)，得到 \(b=3/(1+\lambda)\)。二阶导数为 \(2(1+\lambda)>0\)，确认这是开口向上的二次函数。因此λ=1得到1.5、λ=2得到1。仅一阶导数为0还不够：\(-b^2\) 在0是最大值。
链式法则不能漏负号。令r=3−b、J=r²，则 \(dJ/dr=2r\)，而 \(dr/db=-1\)，相乘得 \(dJ/db=-2(3-b)\)。多参数时，分别固定其他参数、求每项的偏导，把结果排成向量就是梯度。例如 \(J(a,b)=(a-1)^2+(b-2)^2\)，在(0,0)的梯度为(−2,−4)；学习率0.5的一步是 \((0,0)-0.5(-2,-4)=(1,2)\)。自测：\((2b-1)^2\) 在0的导数为 \(2(2b-1)\times2=-4\)。
四、矩阵、转置与误差范数
两条输入x为1、2，答案y为2、3。用 \(\widehat y=b+ax\) 预测。每条预测都含同一个b，所以给输入增加一列常数1：
X有2行2列，β有2行1列。相乘时，用X的一行与β的一列逐位置相乘再相加，所以结果2行1列。行对应样本，列对应参数所乘的方向。本册用b作截距、a作斜率，其他题也可能对调字母；识别时看不乘x的是截距、乘x的是斜率，不把字母名字当定义。若内侧长度不同，就不能这样相乘。
转置把行与列交换。对 \(A=\begin{pmatrix}1&2&3\\4&5&6\end{pmatrix}\)，\(A^T\) 的三行分别是(1,4)、(2,5)、(3,6)。本例X恰巧对称，不能因此认为转置总不改变矩阵。
令残差r=(r₁,r₂)ᵀ，则 \(r^Tr=r_1^2+r_2^2\)，也写作 \(\|r\|^2\)。因此 \(\|y-X\beta\|^2\) 只是“每条答案减预测，各自平方，最后相加”的短写。自测：X为5×3、β为3×1，则Xβ与残差为5×1，Xᵀ残差为3×1。把XᵀX换成XXᵀ会改变尺寸与含义。
五、解方程、逆矩阵与正交投影
若上一节两条预测恰好等于答案，需要b+a=2、b+2a=3。第二式减第一式，b抵消，得a=1；代回得b=1。矩阵方程Xβ=y实际就在解这两条方程。
逆矩阵是把一个矩阵的作用反过来，满足 \(A^{-1}A=I\)，I是乘任何同尺寸向量都不改变它的单位矩阵。逆不是逐个元素取倒数，也不是每个矩阵都有逆。对二维方阵：
对X，分母 \(1\times2-1\times1=1\)，逆为 \(\begin{pmatrix}2&-1\\-1&1\end{pmatrix}\)。乘y=(2,3)ᵀ，第一行4−3=1，第二行−2+3=1，仍得到(b,a)=(1,1)。还可乘回核验：逆矩阵第一行(2,−1)与X两列的内积分别为\(2-1=1\)、\(2-2=0\)；第二行(−1,1)分别给0、1，正好得到单位矩阵。程序通常直接解方程，不把求逆当唯一办法。
现在另取一组数据：两列都为(1,2)，答案也改成y=(3,6)ᵀ。两行方程为b+a=3、2b+2a=6，则只约束和为3，有无穷多组参数。若第二行右端是7，又与第一行冲突，不能精确同时满足。可以改找平方误差最小的预测，但参数也未必唯一。
投影是最佳近似的几何说法。把点(2,0)投向直线上的点(a,a)，距离平方为 \((2-a)^2+a^2=2(a-1)^2+2\)，所以最近点(1,1)。残差(1,−1)与直线方向(1,1)的内积为1−1=0，称为正交。回归通常在“一条坐标对应一条样本”的n维空间做这件事，不是在散点图里随意测距离。自测：(4,0)的投影为(2,2)，可以代回距离式检查。
六、弱方向与收缩：为什么解会不稳定
用 \(A=\begin{pmatrix}1&0.9\\0.9&1\end{pmatrix}\) 演示。乘(1,1)得到(1.9,1.9)，这个方向放大1.9倍；乘(1,−1)得到(0.1,−0.1)，只放大0.1倍。方向保持不变、只被缩放的向量称为特征向量，倍数称为特征值。
解Aβ=c时，若c=(0.1,−0.1)，解是(1,−1)；右端再增加(0.1,−0.1)，参数就再增加(1,−1)。弱方向上的小观测扰动被逆问题放大。若改用A+0.1I，两个倍数变成2和0.2，同样c的新解为(0.5,−0.5)。这就是降低敏感性的一种收缩，但不保证更接近未知真值。
回归中的SVD把X按正交方向拆开，每个奇异值s表示该方向的放大倍数。在s>0的方向，OLS把答案的投影除以s；ridge改乘 \(s/(s^2+\lambda)\)。相对OLS的比例才是 \(s^2/(s^2+\lambda)\)。例如s=2、投影答案6，OLS系数6/2=3；λ=4时ridge为 \(2\times6/(4+4)=1.5\)，正好是OLS的一半。不能把“一半”这个比例直接当成ridge公式里乘6的系数。若s=0，不能相除，数据不能唯一识别该方向系数；标准全系数L2罚且λ>0时，ridge在这个方向取0。
自测：s=1、投影答案8、λ=3，ridge为2，OLS为8。含截距、不等尺度输入或不同罚项时，先对齐具体目标再套公式。
七、期望、方差与均值的波动
尚未观察到的骰子点数用X表示，某次掷到4后记录x=4。公平骰子的期望为 \((1+2+3+4+5+6)/6=3.5\)，不是说单次必须能出现3.5，而是重复抽样的平均位置。
令X只取1或3，各一半。均值2，与均值的偏差为−1和1，各自平方均为1，所以方差1。也可算 \(E[X^2]=(1+9)/2=5\)，减去均值平方4，仍为1。标准差是方差的非负平方根。
取两个独立观测平均，结果1、2、3的概率分别1/4、1/2、1/4。均值仍2，方差为 \((1/4)\times1+(1/2)\times0+(1/4)\times1=1/2\)。若第二个观测只是复制第一个，平均仍是原观测，方差仍1。表里多一行不等于多一份独立信息。
总体标准差描述单次观测多分散；样本均值标准差描述重复采样后平均值多不稳定。n次独立同分布观测的均值标准差为 \(\sigma/\sqrt n\)。标准误是对估计量波动的估计，不等于任何数据列的标准差。自测：σ=2，n=100时均值标准差为0.2；若观测相关，不能只用100这个数套结论。
下一步：按问题进入对应分册
读完前五节后进入《回归与正则化题解》；估计与高斯看《估计、相关与统计推断》；条件概率、等待时间和检验看《概率统计基础课》。先算一个最小例，再读原来更紧凑的汇总。
对比不同书或代码前，先对齐损失归一化。\(\sum e_i^2+\lambda\|\beta\|^2\) 与 \(\frac12\sum e_i^2+\frac\lambda2\|\beta\|^2\) 有相同最优点；若只把误差项除以n而λ不变，相对惩罚会改变。以后看到不同公式，不要先记成互相冲突的两个答案。
术语速查：遇到符号时回到哪一步
Σ和下标见第一节；残差与目标见第二节；导数、梯度、链式法则见第三节；向量、转置和范数见第四节；逆、奇异与正交见第五节；特征值、奇异值和收缩见第六节；期望、方差与标准误见第七节。术语的意义由前面的运算给出，不需要先背完整词典。
范围与证据边界
本册为独立构造的运算起步，不是完整高等数学课程或商业书译本。数值例均限定在所写条件下；模型推断与最优性结论须核对后续分册的假设。复杂证明和更高维计算不作为第一轮先修要求。