#029. 统计四:多元高斯与相关系数

先用一个小例走通

两资产标准差各1、相关0.5,则协方差矩阵[[1,0.5],[0.5,1]];等权方差0.75。若误填相关2,取权重\((1,-1)\)方差变\(1+1-4=-2\),不可能。矩阵半正定就是排除任何权重下出现负方差;特征值可理解为沿特殊互不混合方向的放大倍率,协方差矩阵的这些倍率必须非负。

统计分册核心知识地图:多元高斯与相关系数主题的位置

慢读约定:每题先看“慢读”的具体计算,再读后面的通用推导;进阶结论留到第二轮。\(N(m,v)\)的第二项表示方差,标准差另写 \(\sqrt v\)。先说清已知条件、单位和随机对象,不把估计值当成真值。

#学习目标:把「相关」变成可计算的代数

前两章的回归与估计都在「给定独立性/相关性」的设定下工作,本章把设定本身当作研究对象。三件工具贯穿始终:条件高斯公式——联合高斯下,知道 \(X\) 之后 \(Y\) 的分布怎么改写(这是卡尔曼滤波、高斯过程与统计套利里配对交易模型的公共内核);旋转对称——iid 标准正态向量的分布在任意旋转下不变,于是「过原点的半平面与楔形」的概率退化为圆心角除以 \(2\pi\),一大批几何概率题变成量角问题;相关矩阵的正定性——协方差矩阵必须半正定,这个约束直接给出等相关系数的下界、三变量相关的允许区间、以及「1000 条策略只剩 10 条等效」这类分散度计算。

本章例题密度大,但只有三个套路:条件公式代入(例题 1、2)、楔形量角(例题 3、4)、特征值与方差展开(例题 5–7),最后三道(例题 8–10)把泊松过程与组合方差接进来,作为前面工具在随机过程与资产配置上的落点。

条件高斯

\(Y\mid X\sim N\bigl(\mu_Y+\Sigma_{YX}\Sigma_{XX}^{-1}(X-\mu_X),\ \Sigma_{YY}-\Sigma_{YX}\Sigma_{XX}^{-1}\Sigma_{XY}\bigr)\),条件方差与观测值无关。

楔形概率

iid 标准正态旋转对称,过原点半平面概率 \(\tfrac12\),楔形 \(=\) 圆心角 \(/2\pi\);\(P(X\gt0,Y\gt0)=\tfrac14+\tfrac{\arcsin\rho}{2\pi}\)。

正定性约束

等相关矩阵特征值 \(1-\rho\)(\(n-1\) 重)与 \(1+(n-1)\rho\),故 \(\rho\ge-\tfrac{1}{n-1}\);平均方差 \(\sigma^2\frac{1+(n-1)\rho}{n}\) 定义有效个数。

#知识点一:联合高斯与条件高斯

随机向量 \(Z\) 服从多元高斯 \(N(\mu,\Sigma)\),当且仅当它能写成独立标准正态的线性组合 \(Z=\mu+AZ\)(\(\Sigma=AA^T\))。这一定义立刻给出三条结构性质:线性变换保持高斯性、边缘分布是高斯、条件分布也是高斯。密度(\(\Sigma\) 正定时)为:

\[f(z) = \frac{1}{(2\pi)^{n/2}|\Sigma|^{1/2}}\exp\Bigl(-\tfrac12(z-\mu)^T\Sigma^{-1}(z-\mu)\Bigr).\]

条件分布公式的推导轮廓(源题 S9 的核心)

把 \(Z=(X,Y)\) 分块:\(\mu=\binom{\mu_X}{\mu_Y}\)、\(\Sigma=\begin{pmatrix}\Sigma_{XX} & \Sigma_{XY}\\ \Sigma_{YX} & \Sigma_{YY}\end{pmatrix}\)。把指数里的二次型按 \(y\) 配平方(等价于做分块 Cholesky/Schur 补分解 \(\Sigma_{YY}-\Sigma_{YX}\Sigma_{XX}^{-1}\Sigma_{XY}\)),读出二次项系数与一次项系数,即得:

\[Y\mid X=x \sim N\bigl(\mu_{Y\mid x},\ \Sigma_{Y\mid X}\bigr),\qquad \mu_{Y\mid x} = \mu_Y+\Sigma_{YX}\Sigma_{XX}^{-1}(x-\mu_X),\qquad \Sigma_{Y\mid X}=\Sigma_{YY}-\Sigma_{YX}\Sigma_{XX}^{-1}\Sigma_{XY}.\]

三个读法:(1) 条件均值是 \(x\) 的仿射函数,斜率 \(\Sigma_{YX}\Sigma_{XX}^{-1}\) 正是 026 章的总体回归系数(单变量时 \(\rho\sigma_y/\sigma_x\));(2) 条件方差不依赖观测值 \(x\)——同方差是联合高斯的特产,一般分布不成立;(3) 条件方差严格小于边缘方差 \(\Sigma_{YY}\)(差一个半正定矩阵),「知道 \(X\)」不可能让你对 \(Y\) 更不确定。单变量情形写成教科书形式:

\[\mathbb{E}[Y\mid X=x] = \mu_Y+\rho\frac{\sigma_y}{\sigma_x}(x-\mu_X),\qquad \mathrm{Var}(Y\mid X) = \sigma_y^2(1-\rho^2).\]
联合高斯不是「每个边缘都高斯」

边缘都是高斯、联合不是高斯的反例存在(如 \(Y=X\) 与 \(-X\) 各以一半概率取值,两边缘标准正态,联合集中在两条直线上)。条件公式成立的门槛是联合高斯——线性条件期望、常数条件方差这两条「赠品」只在这扇门内有效。

#知识点二:旋转对称与半平面概率

若 \(X,Y\) iid \(N(0,1)\),联合密度 \(\frac{1}{2\pi}e^{-(x^2+y^2)/2}\) 只依赖到原点的距离——分布在任意旋转下不变。于是任何「由过原点的直线围成的区域」的概率只由圆心角决定:

\[P\bigl(\text{楔形圆心角 }\alpha\bigr) = \frac{\alpha}{2\pi},\qquad P(a^TZ\gt0)=\tfrac12\ \ \text{(任意非零向量 }a\text{)}.\]

推论一:任意线性组合 \(aX+bY\sim N(0,a^2+b^2)\) 关于零对称,过零半平面概率 \(\tfrac12\)——不用算卷积。推论二(相交楔形):\(P(X\gt0,\ X+Y\gt0)\) 这类「两个半平面的交集」先在 \((x,y)\) 平面上画出边界线、量出交角,再除以 \(2\pi\) 即得。推论三(相关版本):对相关系数 \(\rho\) 的标准二维高斯,有经典公式

\[P(X\gt0,\ Y\gt0) = \frac14+\frac{1}{2\pi}\arcsin\rho \ \Longrightarrow\ P(X\gt0,\ Y\lt0)=\frac14-\frac{1}{2\pi}\arcsin\rho,\]

后者已在 028 章例题 6 用端点核对过。\(\arcsin\rho\) 项的来源同样是对称性:标准化相关高斯可以写成 \(Y=\rho X+\sqrt{1-\rho^2}\,\varepsilon\),两半平面边界的夹角由 \(\rho\) 通过 \(\arcsin\) 进入。

量角三步法

遇到 iid 标准正态的符号/半平面题:(1) 把每个事件写成过原点直线的某一侧;(2) 在纸上画出这些直线,标出交集楔形;(3) 概率 = 楔形圆心角 \(/2\pi\)。条件概率则再除以单个半平面的 \(\tfrac12\)。整个流程不需要一次积分。

#知识点三:相关结构代数:和的方差与有效个数

一切从和的方差展开式出发(本章的「万能第一行」):

\[\mathrm{Var}\Bigl(\sum_{i=1}^n X_i\Bigr) = \sum_{i}\sigma_i^2 + 2\sum_{i\lt j}\mathrm{Cov}(X_i,X_j).\]

独立时只有第一项(\(n\sigma^2\),标准差 \(\sqrt n\sigma\));等相关 \(\mathrm{Cov}=\rho\sigma^2\) 时代入得 \(n\sigma^2\bigl(1+(n-1)\rho\bigr)\)。把 \(n\) 个资产等权平均,方差为:

\[\mathrm{Var}(\bar X) = \frac{\sigma^2}{n}\bigl(1+(n-1)\rho\bigr) = \frac{\sigma^2}{N_{\text{eff}}},\qquad N_{\text{eff}} \coloneqq \frac{n}{1+(n-1)\rho}.\]

\(N_{\text{eff}}\) 就是有效策略数 / 有效独立样本数:\(\rho=0\) 时等于 \(n\);\(\rho\gt0\) 时被压小,且 \(n\to\infty\) 时饱和于 \(1/\rho\)——加再多同源策略,分散收益封顶。这个量在风险管理里叫分散度比率,是源题 S44 的主角。

相关矩阵必须半正定

协方差矩阵 \(\Sigma\) 满足 \(\mathrm{Var}(a^TZ)=a^T\Sigma a\ge0\) 对一切 \(a\) 成立——半正定是「方差非负」的矩阵化。等相关矩阵可分解为 \(R=(1-\rho)I+\rho\,\mathbf{1}\mathbf{1}^T\):在 \(\mathbf{1}=(1,\dots,1)^T\) 方向上特征值为 \(1+(n-1)\rho\),在与 \(\mathbf{1}\) 正交的 \(n-1\) 维空间上特征值为 \(1-\rho\)。半正定要求两者皆非负:

\[-\frac{1}{n-1}\ \le\ \rho\ \le\ 1,\qquad\text{三变量即}\ \rho\ge-\tfrac12.\]

读法:「全员两两负相关」不能太负——变量越多,可容忍的平均负相关越弱;\(n=2\) 时退回熟悉的相关系数域 \([-1,1]\)。同族技巧(\(3\times3\) 相关系数矩阵行列式非负)还给出「已知两条相关求第三条的范围」,见例题 6(b)。

为什么负相关有下界

直觉:\(n\) 个变量两两相关 \(-1/(n-1)\) 恰好对应「和恒为零」的构造——例如 \(n\) 只基金各配 \(1/n\) 权重做空它们的等权组合,残差间相关恰为 \(-1/(n-1)\);想更负就必须让某个线性组合的方差为负,几何与代数都不允许。这正是例题 7 里「完全对冲掉误差」的临界相关。

#例题详解 I:联合、条件、合成与几何概率

例题 1(源题 S9):解释联合高斯与条件高斯的区别,并计算:\((X,Y)\) 服从 \(\mu=(0,0)\)、\(\sigma_x=0.5\)、\(\sigma_y=1\)、\(\rho=0.5\) 的双变量高斯,求 \(Y\mid X=x\) 的分布。

慢读:先把中间一步算清楚

先把标准差变成协方差表。本例 \(\sigma_X^2=(0.5)^2=1/4\)、\(\sigma_Y^2=1\),协方差 \(c=\rho\sigma_X\sigma_Y=(1/2)(1/2)(1)=1/4\),所以 \(\Sigma=\begin{pmatrix}1/4&1/4\\1/4&1\end{pmatrix}\)。标准差0.5不能直接填进方差格。

令U、V独立标准正态,构造 \(X=U/2,\ Y=U/2+(\sqrt3/2)V\)。Y方差 \(1/4+3/4=1\),协方差1/4,与给定表吻合。观察X=x后,U/2已知就是x,而V仍独立,所以 \(Y=x+(\sqrt3/2)V\):条件均值x、方差3/4。x=2时写 \(N(2,3/4)\)。对不同X再平均,条件均值波动 \(\operatorname{Var}(X)=1/4\),加组内3/4还原总方差1。

建模。区别先讲清:联合高斯描述「整体」——等密度线是椭圆、任意线性组合服从一维高斯;条件高斯描述「知道 \(X\) 之后 \(Y\) 剩下的不确定性」——它是从联合里切出的纵截面分布。两者由知识点一的公式连接。

推导。代入 \(\mu_Y+\rho\frac{\sigma_y}{\sigma_x}(x-\mu_X)\) 与 \(\sigma_y^2(1-\rho^2)\):

\[Y\mid X=x \sim N\bigl(0.5\times\tfrac{1}{0.5}\,x,\ 1^2\times(1-0.25)\bigr) = N(x,\ 0.75).\]

条件均值斜率 \(1\) 与 026 章例题 4 的回归斜率一致——总体回归线就是条件均值的轨迹;条件方差 \(0.75\) 与 \(x\) 无关。

检验。边缘核对:条件均值对 \(X\) 的分布取期望给 \(\mathbb{E}[Y]=0=\mu_Y\);全方差公式 \(\mathrm{Var}(Y)=\mathrm{Var}(\mathbb{E}[Y\mid X])+\mathbb{E}[\mathrm{Var}(Y\mid X)]=0.25\times1+0.75=1=\sigma_y^2\),两条边缘都对上。

面试怎么讲。先各用一句话定义联合与条件(椭圆云/切出的截面),再背条件公式代入数值,最后用全方差公式自检——三步都有输出,这题就答满了。

推导补全与自检。写\(Y=\rho (\sigma _{y}/\sigma _{x})(X-\mu _{x})+\mu _{y}+\epsilon \),联合高斯让\(\epsilon \)与X独立且方差\(\sigma _{y}^{2}(1-\rho ^{2})\)。代入参数得\(Y|X=x\sim N(x,3/4)\),条件标准差\(\sqrt{3}/2\)。无条件Y方差1分解成条件均值的方差\(1/4\)与平均条件方差\(3/4\),合为1,可用全方差公式核验。

例题 2(源题 S4):两条均值 1、标准差 1 的高斯「合并」,结果的参数是什么?

慢读:先把中间一步算清楚

统一记号:\(N(m,v)\)的第二项始终是方差v,标准差另写 \(\sqrt v\)。独立相加,均值1+1=2;方差展开为两项自身平方和交叉项,独立零中心让交叉平均为0,故方差1+1=2,分布写 \(N(2,2)\),标准差 \(\sqrt2\)。两数平均则将方差乘 \((1/2)^2\),得到 \(N(1,1/2)\)。

混合是先抽标签,再从所选分布抽一个值,不是把两次值相加。组件相同,选哪一个都一样,仍 \(N(1,1)\)。若两个组件均值0与3、方差1、各半,总均值1.5;组内方差1,组均值偏离总均值的平方均为2.25,总方差3.25,不等于相加所得均值3、方差2。

建模。「合并」有两种读法,必须先澄清再算——这本身就是考点。读法一:两个独立随机变量相加(把两杯水倒在一起求总量的分布)。读法二:把两组观测混在一起(或每次随机选用其中一条高斯生成一个样本),即混合分布。

推导。读法一(卷积):独立高斯相加仍是高斯,均值相加、方差相加:

\[X_1+X_2 \sim N(1+1,\ 1^2+1^2) = N(2,2),\qquad\text{均值 }2\text{、标准差 }\sqrt2\approx1.414.\]

读法二(混合):以概率各半取 \(N(1,1)\),密度是 \(\tfrac12\phi_{(1,1)}+\tfrac12\phi_{(1,1)}=\phi_{(1,1)}\)——两个相同组件的混合就是原分布,参数不变,仍为均值 1、标准差 1。若两组件不同(如 \(N(0,1)\) 与 \(N(3,1)\) 各半),混合是双峰、不是任何高斯——「混合不保型、卷积保型」是本题的教学点。

检验。读法一的方差 \(2\gt1\):相加会放大不确定性,合理;读法二的均值 \(=\tfrac12(1)+\tfrac12(1)=1\)、方差 \(=\tfrac12(1)+\tfrac12(1)+0=1\)(组件相同时组间方差为零),与直接读密度一致。

面试怎么讲。第一句反问「合并是指相加还是混合?」——澄清歧义本身就是得分;然后两条路各给一行结论,附「卷积保高斯、混合一般不保」的总结。若被追问「两台独立秤读数平均」:那是相加除二,\(N(1,1/2)\),方差反而变小,与 028 章例题 4 的融合公式同源。

推导补全与自检。若为独立相加,均值2、方差2、标准差\(\sqrt{2}\);若是等概率混合两个完全同为N(1,1)的分布,混合后仍N(1,1)。若相加但相关\(\rho \),方差为\(2+2\rho \)。混合一般不同均值正态时,分布通常不再正态,方差还含“组均值差”的组间项,不能把混合等同卷积。

例题 3(源题 S29):\(X,Y\) iid 标准正态。求 (i) \(P(X\gt0)\);(ii) \(P(X+2Y\gt0)\);(iii) \(P(X\gt0\ \text{且}\ X+Y\gt0)\)。

慢读:先把中间一步算清楚

把角度范围列出。独立标准正态的联合密度只依赖 \(x^2+y^2\),相同角度宽的扇形概率相同。写 \(x=r\cos\theta,y=r\sin\theta\)。X正要求 \(-\pi/2<\theta<\pi/2\);在此范围,X+Y正要求 \(\cos\theta+\sin\theta>0\),即 \(\theta>-\pi/4\)。交集为 \((-\pi/4,\pi/2)\),宽 \(3\pi/4\),除整圈2π,得3/8。

单独看X+2Y时却不需量角:它是零均值正态,正负各半,增大方差不会改变正号概率。边界:椭圆分布不能未经标准化就直接按平面几何角度分配概率;这里使用了二维圆对称。

建模。三个事件都是「过原点直线的某一侧」,用知识点二的量角三步法。

推导。(i) 对称性直接给 \(\tfrac12\)。(ii) \(X+2Y\sim N(0,1+4)=N(0,5)\),关于零对称给 \(\tfrac12\)——方差 5 不影响对称事件的概率。(iii) 两条边界线:\(x=0\)(纵轴)与 \(x+y=0\)(斜率 \(-1\) 直线)。\(X\gt0\) 是纵轴右侧半平面,\(X+Y\gt0\) 是直线 \(x+y=0\) 的右上侧;两半平面的交集是圆心角为 \(\tfrac34\pi\) 的楔形(从角 \(-\tfrac\pi4\) 的边界扫到角 \(\tfrac\pi2\) 的边界):

\[P\bigl(X\gt0,\ X+Y\gt0\bigr) = \frac{3\pi/4}{2\pi} = \frac38.\]

检验。数值 sanity:\(X\) 与 \(X+Y\) 的相关系数 \(\mathrm{Cov}(X,X+Y)/\sqrt{1\cdot2}=1/\sqrt2\approx0.707\),代入 \(\arcsin\) 公式 \(\tfrac14+\tfrac{\arcsin(0.707)}{2\pi}=\tfrac14+\tfrac{\pi/4}{2\pi}=\tfrac38\)——两条路线互证,稳。

面试怎么讲。(i)(ii) 各一句对称性;(iii) 画图量角给 \(3/8\),再主动用 \(\arcsin\) 公式复核(相关系数 \(1/\sqrt2\)),展示两条独立路径。

推导补全与自检。X+2Y方差5且均值0,所以正号概率仍\(1/2\),与系数2不冲突;联合X>0且X+Y>0只占\(3/8\)。单独符号只用零对称,联合象限需共同分布结构。若X,Y虽各自正态却不独立,线性组合仍需联合高斯才保证正态,不能从边际性质自动跳过这一条件。

例题 4(源题 S8,与例题 3 同族):\(X,Y\) iid 零均值正态。求 \(P(X\ge0 \mid X+Y\ge0)\)。

慢读:先把中间一步算清楚

条件化是在缩小总体后重分权重。上一题中,X+Y非负的半平面宽π;同时X非负的交集宽3π/4。现在只在条件半平面里挑点,故比例为 \((3\pi/4)/\pi=3/4\)。用普通概率写,也是 \((3/8)/(1/2)=(3/8)\times2=3/4\)。除1/2是在去掉另一半总体后重新归一化,不是任意把答案翻倍。

自测:只知道X、Y各自零均值,但没有相同方差与联合高斯,还能直接报3/4吗?不能,交集的形状和密度结构均可能改变。

建模。条件概率 = 交集除以条件事件;两者都是半平面,直接复用例题 3 的楔形。

推导。分母 \(P(X+Y\ge0)=\tfrac12\)(对称性),分子为例题 3(iii) 的 \(\tfrac38\):

\[P(X\ge0\mid X+Y\ge0) = \frac{3/8}{1/2} = \frac34.\]

检验。直觉核对:已知和为正,\(X\) 更可能为正(正相关 \(1/\sqrt2\) 传递信息),\(\tfrac34\gt\tfrac12\) 方向正确;用 \(\arcsin\) 公式交叉验证 \(P(X\ge0,X+Y\ge0)/P(X+Y\ge0)=\tfrac38/\tfrac12=\tfrac34\) 一致。量级核对:相关 \(0.707\) 时后验从 0.5 挪到 0.75,介于独立(0.5)与完全相关(1)之间,落点合理。

面试怎么讲。一句话点名「与 S29(iii) 同一块楔形,只多除了一个 \(\tfrac12\)」,先把 \(\tfrac34\) 报出来,再补量角图;能指出「条件事件把质量重新归一化到半平面」即到位。

推导补全与自检。当X,Y iid、零均值且连续正态时,交换对称使\(P(X\ge 0|X+Y\ge 0)=3/4\);先算交集\(3/8\)再除\(1/2\)。若仅说各自零均值正态但方差不同,结果为\(1/2+\arcsin (\sigma _{x}/\sqrt{\sigma _{x}^{2}+\sigma _{y}^{2}})/\pi \),不必是\(3/4\)。“iid”中的相同方差确实被用到了。

#例题详解 II:相关的界、等效策略与误差累积

例题 5(源题 S37):三个随机变量 \(X,Y,Z\),两两相关都等于 \(p\)。\(p\) 的可能范围是什么?推广到 \(n\) 个变量呢?

慢读:先把中间一步算清楚

先用方差不能负,不背特征值。将三个变量标准化为均值0、方差1,两两协方差为p。差值方差 \(1+1-2p=2-2p\ge0\),所以p≤1。和的方差 \(3+2(p+p+p)=3+6p\ge0\),所以p≥−1/2。

向量可以分成全体同向的全1方向,以及总和为零的其余方向;方差倍率分别1+2p与1−p。这就是后面特征值公式压缩的动作。n个变量的和方差 \(n+n(n-1)p\ge0\),给p≥−1/(n−1)。自测:四个变量能否两两相关−1/2?不能,下界−1/3;否则它们的和会出现不可能的负方差。

建模。相关矩阵 \(R\) 必须半正定;等相关结构下 \(R\) 的特征值有显式表达。

推导。写成 \(R=(1-p)I+p\,\mathbf{1}\mathbf{1}^T\):沿 \(\mathbf{1}\) 方向特征值 \(1+2p\),正交补上(二维)特征值 \(1-p\)。半正定要求二者非负:

\[1+2p\ge0 \text{ 且 } 1-p\ge0 \quad\Longrightarrow\quad -\tfrac12\le p\le1.\]

推广到 \(n\) 个等相关变量:特征值 \(1+(n-1)p\) 与 \(1-p\)(\(n-1\) 重),给出 \(-\tfrac{1}{n-1}\le p\le1\)——变量越多,负相关的一端越靠近 0。

检验。构造核对:取 \(Z_1,Z_2,Z_3\) iid,令 \(X_i=\sqrt{\tfrac32}\,(Z_i-\bar Z)\)(\(\bar Z\) 为三者均值),则 \(\mathrm{Var}(X_i)=1\)、\(\mathrm{Cov}(X_i,X_j)=-\tfrac12\)(\(i\ne j\)),且三者之和恒为零——下界可达;上界 1 由完全共线实现。\(n=2\) 时公式退回 \([-1,1]\),与一维相关系数域吻合。

面试怎么讲。一句话点破「相关矩阵半正定」,写出特征值分解(\(I\) 与 \(\mathbf{1}\mathbf{1}^T\) 的线性组合),端点随口给构造。易错点预告:别答 \([-1,1]\)——那是两个变量的答案。

推导补全与自检。相关矩阵\(R=(1-p)I+p11^T\),在全1方向特征值\(1+(n-1)p\),其余\(n-1\)个方向特征值\(1-p\)。半正定给\(-1/(n-1)\le p\le 1\)。\(n=3\)时下界\(-1/2\):三变量不能全都几乎完美负相关。端点允许奇异联合分布;若题目要求协方差严格正定,应改成开区间。

例题 6(源题 S44):对冲基金有 1000 条策略,两两相关都是 10%。(a) 等效(独立)策略有多少条?继续加策略会怎样?(b) 若 \(\mathrm{corr}(A,B)=\mathrm{corr}(B,C)=0.9\),\(\mathrm{corr}(A,C)\) 的范围是?

慢读:先把中间一步算清楚

把等效数量的分母讲清。每条策略方差先设为1,等权各1/1000。平方展开有1000个自身项及 \(1000\times999\) 个有序交叉项,组合方差为 \([1000+1000\times999\times0.1]/1000^2=0.1009\)。M条独立等波动策略的等权平均方差1/M,令 \(1/M=0.1009\),得M≈9.9108。这是按组合方差定义的等效数量,不是证明只有十条实际独立信号。

全部方向总方差是矩阵迹1000,最大特征值100.9只占10.09%;但等权组合方差0.1009中公共项0.1占 \(0.1/0.1009\approx99.11\%\)。因此公共风险主导的是这个组合,而非所有方向的总方差。另一问代 \(\rho^2=0.81\):\(1+1.62x-1.62-x^2\ge0\),即 \((x-1)(x-0.62)\le0\),所以x在0.62与1之间。

建模。(a) 用「等权组合的方差」定义分散度:设每条策略收益方差 \(\sigma^2\),等权平均的方差为 \(\frac{\sigma^2}{n}\bigl(1+(n-1)\rho\bigr)\),把它写成 \(\sigma^2/N_{\text{eff}}\) 读出有效个数。(b) 用 \(3\times3\) 相关系数矩阵半正定(行列式非负)。

推导。(a) 代入 \(n=1000\)、\(\rho=0.1\):

\[N_{\text{eff}} = \frac{n}{1+(n-1)\rho} = \frac{1000}{1+0.1\times999} = \frac{1000}{100.9}\approx9.91\ \text{条}.\]

继续加策略:\(n\to\infty\) 时 \(N_{\text{eff}}\to1/\rho=10\)——饱和。特征值视角同样清晰:等相关矩阵的最大特征值 \(1+(n-1)\rho\approx100.9\) 是全1方向的方差倍率,但只占全空间总方差的约10.09%;等权平均沿该方向取值,公共项主导的是该组合的风险,其余 \(999\) 个方向只有 \(1-\rho=0.9\),组合风险被「市场公共因子」这一根轴锁死。(b) 记 \(\mathrm{corr}(A,C)=x\),相关矩阵行列式非负:

\[1+2\rho^2 x - 2\rho^2 - x^2 \ge 0 \ \Longrightarrow\ x^2-2\rho^2x+(2\rho^2-1)\le0 \ \Longrightarrow\ x\in\bigl[2\rho^2-1,\ 1\bigr]=[0.62,\ 1].\]

检验。(a) 端点核对:\(\rho=0\) 给 \(N_{\text{eff}}=n\),\(\rho=1\) 给 1;(b) 端点核对:\(x=1\)(标准化后的A与C相同,B仍可有独立成分)与 \(x=2(0.9)^2-1=0.62\)(对应「\(B\) 恰为 \(A\)、\(C\) 的等权平均型构造」)都让行列式为零,可行。直觉核对:\(A\)、\(C\) 都与 \(B\) 高度相关,二者不可能不相关——下界 0.62 为正与此相符,且严格小于 \(\rho^2=0.81\)(「相关不能简单平方传递」)。

面试怎么讲。(a) 先报 9.91,强调「千条策略约等于十条独立的,再加也只往 10 靠」;(b) 报 [0.62, 1],一句「相关矩阵半正定、行列式非负」交代来源。主动把 (a) 连到风险预算:真实基金的相关结构不等相关,但 \(N_{\text{eff}}\) 公式给出的量级直觉依然有效。

推导补全与自检。若所有策略等波动、等权且等相关\(\rho \),组合方差\(\sigma ^{2}[\rho +(1-\rho )/N]\);与\(N_{\mathrm{eff}}\)条独立等波动策略等权方差\(\sigma ^{2}/N_{\mathrm{eff}}\)对齐,得\(N_{\mathrm{eff}}=N/[1+(N-1)\rho ]\)。\(N=1000,\rho =0.1\)时约9.91而非100;N→∞上限10。另一子问由三阶相关矩阵行列式\(\ge 0\)得\(\rho _{\mathrm{AC}}\in [0.62,1]\)。

例题 7(源题 S31):机器造 1 米长的杆,误差(标准差)10%。把 10 根接成一根,总误差是多少?若两两误差有相关系数 \(r\) 呢?

慢读:先把中间一步算清楚

先保留单位再开平方。单根标准差0.1米,方差0.01平方米。十根独立,总方差 \(10\times0.01=0.1\) 平方米,总标准差0.31623米。除总长度10米得到0.031623,转百分数才是3.1623%。

十根有 \(10\times9/2=45\) 对,每对在平方展开中出现两次,所以交叉方差 \(2\times45\times r\times0.01=0.9r\),总方差0.1+0.9r。r=1时标准差1米,相对10%;r=0回3.16%。共同固定偏长0.1米会造成总偏差1米,它不是此处零均值随机波动,不能被平方根法则消掉。

建模。每根杆长 \(L_i=1+e_i\),\(e_i\) 标准差 \(\sigma=0.1\) 米;总长 \(\sum L_i = 10+\sum e_i\),问总误差的标准差相对 10 米的百分比。

推导。独立情形:\(\mathrm{Var}(\sum e_i)=10\sigma^2\),总误差 \(=\sqrt{10}\times0.1\approx0.316\) 米,相对误差 \(0.316/10\approx3.16\%=\sqrt{10}\,\%\)。相关情形(两两相关 \(r\)):

\[\mathrm{Var}\Bigl(\sum_{i=1}^{10} e_i\Bigr) = 10\sigma^2 + 2\binom{10}{2}r\sigma^2 = (10+90r)\sigma^2 \ \Longrightarrow\ \text{相对误差} = \sqrt{10+90r}\,\%.\]

读数:\(r=0\) 给 \(\sqrt{10}\%\approx3.16\%\);\(r=1\) 给 \(\sqrt{100}\%=10\%\)(完全同涨同跌,无分散);临界 \(r=-\tfrac19\)(即 \(-1/(n-1)\),例题 5 的下界)给 0——总方差恰好抵消。源题答案里「\(r=-1\) 误差为零」对应的是 \(n=2\) 的特例(两根杆完全负相关恰相抵消);十根杆两两 \(-1\) 代数上不允许,可容许的最强对冲就停在 \(-1/9\)。

检验。量纲与单调性:误差随 \(r\) 单调上升,两端 \(3.16\%\to10\%\);\(\sqrt n\) 法则(\(3.16=\sqrt{10}\))与独立和的教科书结论一致;PSD 界 \(-\tfrac19\) 与例题 5 完全对齐。

面试怎么讲。先答独立情形的 \(\sqrt{10}\%\approx3.2\%\)(强调「百分比下降不是 1%,因为 \(\sqrt n\)」),再给 \(\sqrt{10+90r}\%\) 一般式,最后主动指出负端的代数边界 \(-1/9\)——把例题 5 的相关知识用在这,形成连环得分。

推导补全与自检。10根独立杆总长均值10米、标准差\(\sqrt{10}\times 0.1\approx 0.316\)米;相对总长标准差3.162%,不能说总长误差31.6%。若任意两杆相关r,总方差0.01[10+90r]平方米;\(r=1\)时标准差1米,不会有\(\sqrt{10}\)分散化。均值误差或固定系统偏差不靠独立误差公式自动消失。

#例题详解 III:过程、间隔与最小方差组合

例题 8(源题 S36):一个细菌每秒分裂成个数服从泊松分布(参数 \(\lambda\))的若干个(分裂成 0 个即死亡、1 个即不变),各次分裂独立。从 1 个细菌开始,\(t\) 秒后细菌数目的分布是什么?

慢读:先把中间一步算清楚

先算第二代为零,便能识别分布错误。已知第一代有k个,各自独立生出泊松λ后代,第二代总数条件分布为泊松kλ,为零概率 \(e^{-k\lambda}\)。但k随机,必须加权:

\[P(Z_2=0)=\sum_{k=0}^{\infty}\frac{e^{-\lambda}\lambda^k}{k!}e^{-k\lambda}=e^{-\lambda}\sum_{k=0}^{\infty}\frac{(\lambda e^{-\lambda})^k}{k!}=\exp\{\lambda(e^{-\lambda}-1)\}.\]

最后用 \(e^a=\sum_{k\ge0}a^k/k!\)。λ=1时为0.53146;若误当第二代仍泊松1,会给0.36788。概率母函数 \(G(s)=E[s^Z]=\sum P(Z=k)s^k\) 是把每个可能数目的概率编码进同一条函数。初学先理解这次“条件分布再平均”,然后再读其迭代形式。

建模。这是分支过程(Galton–Watson process):每代每个个体独立产生 \(\mathrm{Pois}(\lambda)\) 个后代。分布用概率母函数(pgf)迭代最干净:单代后代 pgf 为 \(G_1(s)=\mathbb{E}[s^{N}]=e^{\lambda(s-1)}\)。

推导。从 1 个个体出发,\(t\) 代后的 pgf 满足迭代:

\[G_{t}(s) = G_1\bigl(G_{t-1}(s)\bigr) = \exp\Bigl(\lambda\bigl(G_{t-1}(s)-1\bigr)\Bigr),\qquad G_0(s)=s.\]

\(t=1\):\(G_1=e^{\lambda(s-1)}\) 即泊松\((\lambda)\);\(t=2\):\(G_2(s)=\exp\bigl(\lambda(e^{\lambda(s-1)}-1)\bigr)\)——泊松随机个泊松的复合(Neyman A 型分布),已经不是泊松。均值走分支性质:\(\mathbb{E}[Z_t]=\lambda^t\)(每代乘一次均值 \(\lambda\))。灭绝概率 \(q=P(Z_t\to0)\) 是 pgf 的最小不动点:

\[q = e^{-\lambda(1-q)}.\]

\(\lambda\le1\) 时唯一解 \(q=1\)(必然灭绝);\(\lambda\gt1\) 时另有 \(q\lt1\) 的解(永久存活概率 \(1-q\gt0\))。

检验。小情形核对:\(t=1\) 退化回泊松;均值 \(\lambda^t\) 对 \(t=0,1\) 给 1、\(\lambda\) 正确;\(\lambda=0\) 时每步归零,\(q=1\)。数值例:\(\lambda=2\) 时解 \(q\approx0.203\)(存活率约 80%)。

面试怎么讲。先点名「分支过程、母函数迭代」,写出 \(G_t=G_1\circ G_{t-1}\);说明除了 \(t=1\) 都不是泊松(复合结构);灭绝概率方程 \(q=e^{-\lambda(1-q)}\) 与临界条件 \(\lambda\le1\) 收尾。完整的分支过程与灭绝讨论在 022 章。

推导补全与自检。给定\(Z_{t}=k\),下一代为k个独立\(\operatorname{Poisson}(\lambda )\)之和,因此\(Z_{t+1}|Z_{t}=k\sim \operatorname{Poisson}(k\lambda )\);无条件一般是泊松混合,非\(\operatorname{Poisson}(\lambda ^{t+1})\)。从\(Z_{0}=1\)出发生成函数\(G_{t+1}(s)=G_{t}(\exp (\lambda (s-1)))\),均值\(\lambda ^t\);方差递推\(v_{t+1}=\lambda ^{2}v_{t}+\lambda ^{t+1}\)。\(t=1\)确为泊松,但\(t=2\)时方差\(\lambda ^{2}(1+\lambda )\)已不同于均值\(\lambda ^{2}\)。

例题 9(源题 S11):泊松过程中两个相邻事件之间的时间服从什么分布?

慢读:先把中间一步算清楚

等待与计数是同一件事的两种说法。率λ=2表示单位时间平均来两次,不是每0.5时间必来一次。等待超过t,等价于前t没有事件;计数泊松2t为零的概率是 \(e^{-2t}(2t)^0/0!=e^{-2t}\),故CDF为 \(1-e^{-2t}\),对t求导给密度 \(2e^{-2t}\)。

已等1还没来,再等超过0.5的条件概率 \(P(T>1.5)/P(T>1)=e^{-3}/e^{-2}=e^{-1}\),与从零开始等超过0.5相同。这是指数模型的无记忆性质,不是所有到达间隔都如此。

建模。泊松过程 \(\{N(t)\}\)(率 \(\lambda\))有独立平稳增量;间隔 \(T\) 是「下一个事件等待时间」。

推导。「间隔大于 \(t\)」等价于「\((0,t]\) 内没有事件」:

\[P(T\gt t) = P\bigl(N(t)=0\bigr) = e^{-\lambda t} \ \Longrightarrow\ T\sim\mathrm{Exp}(\lambda),\ f_T(t)=\lambda e^{-\lambda t}\ (t\ge0).\]

由此立得无记忆性:\(P(T\gt s+t\mid T\gt s)=P(T\gt s+t)/P(T\gt s)=e^{-\lambda(s+t)}/e^{-\lambda s}=e^{-\lambda t}\)——等了 \(s\) 久不改变再等 \(t\) 的分布,这是指数分布的签名。第 \(k\) 个事件的到达时间是 \(k\) 个 iid 指数之和,服从 Gamma(Erlang)\((k,\lambda)\)。

检验。量纲核对:\(\lambda\) 单位是「每秒事件数」,\(\lambda t\) 无量纲;均值 \(1/\lambda\) 与「每 \(1/\lambda\) 秒一个事件」的直觉一致;方差 \(1/\lambda^2\)(变异系数 1,指数族特征)。

面试怎么讲。一句「间隔是参数 \(\lambda\) 的指数分布」加两行推导(存活函数 = 零事件概率),再主动送出两条延伸:无记忆性、第 \(k\) 次到达是 Erlang——大概率正是追问的下一问。

推导补全与自检。下一事件等待T>t等价于\(N(t)=0\),故\(P(T>t)=e^{-\lambda t}\),密度\(\lambda e^{-\lambda t}\),均值\(1/\lambda \)。无记忆性\(P(T>s+t|T>s)=e^{-\lambda t}\)来自独立平稳增量;若事件率随时间变化,生存函数变\(\exp (-\int \lambda (u)du)\),不再是同参数指数。多次事件的总等待才服从Gamma分布。

例题 10(源题 S26):组合两条股票 A、B,期望收益相同,\(\sigma_A=20\%\)、\(\sigma_B=30\%\)、相关系数 0.5。如何配置最小化方差?

慢读:先把中间一步算清楚

用一个变量写全仓位约束。A权重w,B权重1−w;协方差 \(0.5\times0.2\times0.3=0.03\)。组合方差逐项 \(0.04w^2+0.09(1-w)^2+0.06w(1-w)\),展开成 \(0.07w^2-0.12w+0.09\)。导数 \(0.14w-0.12=0\),得到A为6/7、B为1/7;二阶导0.14正,确为最低。

代回方差 \(27/700\approx0.0385714\),标准差约19.64%,略低于单独A的20%。两资产期望相同,改变权重才不会改变本例期望;若有做空、仓位上下限或融资约束,须另检查候选是否在可行范围内,不能解完导数就停止。

建模。权重 \(w\) 放 A、\(1-w\) 放 B;期望收益相同意味着任何配置期望相同,最优化目标只剩方差:

\[\sigma_p^2(w) = w^2\sigma_A^2 + (1-w)^2\sigma_B^2 + 2w(1-w)\rho\sigma_A\sigma_B.\]

推导。对 \(w\) 求导令零,解得最小方差权重:

\[w_A^{*} = \frac{\sigma_B^2-\rho\sigma_A\sigma_B}{\sigma_A^2+\sigma_B^2-2\rho\sigma_A\sigma_B} = \frac{0.09-0.5\times0.06}{0.04+0.09-0.5\times0.12} = \frac{0.06}{0.07} = \frac67\approx85.7\%,\qquad w_B^{*}=\frac17\approx14.3\%.\]

代入得最小方差:

\[\sigma_{p,\min}^2 = \frac{(1-\rho^2)\,\sigma_A^2\sigma_B^2}{\sigma_A^2+\sigma_B^2-2\rho\sigma_A\sigma_B} = \frac{0.75\times0.0036}{0.07} \approx0.0386 \ \Longrightarrow\ \sigma_{p,\min}\approx19.6\%.\]

检验。结果低于 \(\sigma_A=20\%\):哪怕 B 又差又吵,本例的最优权重在[0,1]内,确实存在分散收益;其他参数下若禁止卖空,最优也可能在全仓A的边界。端点行为:\(\rho=1\) 时两资产完全共线,无约束最优在 \(w_A=\sigma_B/(\sigma_B-\sigma_A)=3\)(做空 B)处把方差降为 0,若限制只做多则退化为全仓 A 的 20%;若限制两权重非负,零方差组合才要求 \(\rho=-1\)(\(w_A=\sigma_B/(\sigma_A+\sigma_B)=60\%\)),本题 \(\rho=0.5\) 远未达到,故最小方差 19.6% 非零——端点行为全对。

面试怎么讲。先指出「同期望 ⇒ 最小方差即最优」这一步简化,再报 \(6/7\) 对 \(1/7\) 与 19.6%;主动提 \(\rho=1\)(完全共线、只做多下退化为全仓 A)与 \(\rho=-1\)(零方差组合 60/40)两个端点,展示公式而不是背数字。

推导补全与自检。两资产方差\(V(w)=0.04w^{2}+0.09(1-w)^{2}+0.06w(1-w)\)。展开为\(0.07w^{2}-0.12w+0.09\),导数\(0.14w-0.12=0\),所以\(w_{A}=6/7,w_{B}=1/7\)。最小方差\(27/700\approx 0.03857\),波动约19.64%,略低于A的20%。若要求不可卖空,检查权重是否在[0,1],本例满足。

#误区与边界

误区一:把「边缘都是高斯」当「联合高斯」

条件公式、线性条件期望、常数条件方差三件套全部要求联合高斯。反例(两边缘标准正态、联合集中在两条直线)说明边缘信息不足以断定联合结构。

误区二:相关系数范围记成 \([-1,1]\) 不看维度

三个及以上变量的等相关有下界 \(-1/(n-1)\);已知两条相关第三条被夹在 \([2\rho^2-1,1]\)。见到「三变量都等于 \(-0.6\)」这类配置,第一反应应当是「相关矩阵不正定、不存在」。

误区三:相关 0 等于独立

联合高斯时二者等价;一般分布只保证「线性无关」。\(\chi^2\) 自由度平方、金融里的波动率与收益(杠杆效应)都是零相关但强非线性依赖的例子;026 章例题 6 则是反向警示:\(X\) 与 \(Y\) 独立,可 \(XY\) 与 \(X\) 的协方差是 \(1/24\)——对变量做非线性加工会凭空长出相关性。

边界:条件公式在 \(\Sigma_{XX}\) 奇异时失效

\(X\) 内部完全相关(如同一信号的两份拷贝)时 \(\Sigma_{XX}\) 不可逆,条件分布不唯一——先用 027 章的岭/伪逆语言降维或正则化再谈条件。

边界:\(N_{\text{eff}}\) 公式只在等相关下精确

真实策略的相关结构参差,\(n/(1+(n-1)\rho)\) 只在「平均相关」意义上近似;严格做法是用特征值谱定义有效秩 \((\sum\lambda_i)^2/\sum\lambda_i^2\)。把 9.91 当「九条独立策略」陈述时,务必声明假设。

#检查清单

  • 我能写出分块条件高斯公式 \(\mu_{Y\mid x}\) 与 \(\Sigma_{Y\mid X}\),并用配方法说出推导轮廓。
  • 我知道联合高斯的三个「赠品」:线性条件期望、常数条件方差、相关零即独立——以及它们在一般分布上全部失效。
  • 我能量角解决 iid 标准正态的半平面/楔形概率(如 \(3/8\)、\(3/4\)),并用 \(\arcsin\) 公式交叉验证。
  • 我能区分「两条高斯相加(\(N(2,2)\))」与「混合(仍是 \(N(1,1)\))」,并说明卷积保型、混合不保型。
  • 我能用特征值分解推出等相关界 \(-1/(n-1)\le\rho\le1\),并用构造验证下界可达。
  • 我能推导等效策略数 \(N_{\text{eff}}=n/(1+(n-1)\rho)\),算出 1000 条 \(\rho=0.1\) 时约 9.91、饱和于 \(1/\rho=10\)。
  • 我能用行列式非负推出 \(\mathrm{corr}(A,C)\in[2\rho^2-1,1]=[0.62,1]\)(\(\rho=0.9\))。
  • 我能用 \(\mathrm{Var}=\sigma^2(n+n(n-1)r)\) 处理误差累积:十根杆 \(\sqrt{10}\%\) 起、\(r=1\) 时 10%、对冲临界 \(-1/(n-1)\)。
  • 我能用母函数迭代描述泊松分裂的分支过程(均值 \(\lambda^t\)、灭绝方程 \(q=e^{-\lambda(1-q)}\)),并说出泊松过程间隔是指数分布及其无记忆性。
  • 我能推导两资产最小方差权重并代入算出 \(w_A=6/7\)、\(\sigma_{\min}\approx19.6\%\),说明端点行为。