3.15: 矩阵符号

1 模型矩阵

对于许多目的，包括计算，用矩阵表示法编写模型和统计数据很方便。

$n$ 个下列线性方程构成了一个 $n$ 方程组。

$\begin{matrix} (1) & Y_{i} = X_{i}^{'} β + e_{i} \end{matrix}$

我们可以将这些 $n$ 方程堆叠在一起作为

$\begin{aligned} Y_{1} = X_{1}^{'} β + e_{1} \\ Y_{2} = X_{2}^{'} β + e_{2} \\ ⋮ \\ Y_{n} = X_{n}^{'} β + e_{n} . \end{aligned}$

定义

$Y = (\begin{matrix} Y_{1} \\ Y_{2} \\ ⋮ \\ Y_{n} \end{matrix}), X = (\begin{matrix} X_{1}^{'} \\ X_{2}^{'} \\ ⋮ \\ X_{n}^{'} \end{matrix}), e = (\begin{matrix} e_{1} \\ e_{2} \\ ⋮ \\ e_{n} \end{matrix})$

观察 $Y$ 和 $e$ 是 $n \times 1$ 向量， $X$ 是 $n \times k$ 矩阵。 $n$ 方程组可以紧凑地写成单个方程

$\begin{matrix} (2) & Y = X β + e \end{matrix}$

样本总和可以用矩阵表示法编写。例如

$\begin{aligned} \sum_{i = 1}^{n} X_{i} X_{i}^{'} = X^{'} X \\ \sum_{i = 1}^{n} X_{i} Y_{i} = X^{'} Y . \end{aligned}$

因此最小二乘估计量可以写成

$\hat{β} = {(X^{'} X)}^{- 1} (X^{'} Y)$

式 2 的估计版本是

$Y = X \hat{β} + \hat{e}$

等价的残差向量是

$\hat{e} = Y - X \hat{β}$

使用残差向量，我们可以将 (3.16) 写为

$X^{'} \hat{e} = 0$

将误差平方和标准写为

$SSE (β) = (Y - X β)^{'} (Y - X β) .$

使用矩阵表示法，我们对大多数估计器都有简单的表达式。这对于计算机编程特别方便，因为大多数语言都允许矩阵表示法和操作。

定理 1 (重要的矩阵表达式) $\begin{aligned} \hat{β} & = {(X^{'} X)}^{- 1} (X^{'} Y) \\ \hat{e} & = Y - X \hat{β} \\ X^{'} \hat{e} & = 0 . \end{aligned}$

2 投影矩阵

定义矩阵

$P = X {(X^{'} X)}^{- 1} X^{'}$

请注意

$P X = X {(X^{'} X)}^{- 1} X^{'} X = X .$

这是投影矩阵的属性。更一般地，对于任何矩阵 $Z$ 可以写成 $Z = X Γ$ 对于某个矩阵 $Γ$ （我们说 $Z$ 位于 $X$ 的范围空间中），然后

$P Z = P X Γ = X {(X^{'} X)}^{- 1} X^{'} X Γ = X Γ = Z .$

举一个重要的例子，如果我们将矩阵 $X$ 划分为两个矩阵 $X_{1}$ 和 $X_{2}$ ，那么 $X =$ 和 $[\begin{array}{ll} X_{1} & X_{2} \end{array}]$ 然后是 $P X_{1} = X_{1}$ 。（见练习 3.7。）

投影矩阵 $P$ 具有幂等的代数性质： $P P = P$ 。见下文定理 3.3.2。有关投影矩阵的一般属性，请参见第 A.11 节。

矩阵 $P$ 在最小二乘回归中创建拟合值：

$P Y = X {(X^{'} X)}^{- 1} X^{'} Y = X \hat{β} = \hat{Y} .$

由于这个属性， $P$ 也被称为帽子矩阵。

当 $X = 1_{n}$ 是一个由 1 组成的 $n$ 向量时，会出现一个投影矩阵的特殊示例。然后

$P = 1_{n} {(1_{n}^{'} 1_{n})}^{- 1} 1_{n}^{'} = \frac{1}{n} 1_{n} 1_{n}^{'} .$

请注意，在这种情况下

$P Y = 1_{n} {(1_{n}^{'} 1_{n})}^{- 1} 1_{n}^{'} Y = 1_{n} \bar{Y}$

创建一个 $n$ -vector，其元素是样本均值 $\bar{Y}$ 。

投影矩阵 $P$ 经常出现在最小二乘回归的代数运算中。该矩阵具有以下重要性质。

定理 2 (投影矩阵的性质) 任何 $n \times k X$ 与 $n \geq$ $k$ 的投影矩阵 $P = X {(X^{'} X)}^{- 1} X^{'}$ 具有以下代数性质。

$P$ 是对称的 $(P^{'} = P)$ 。
$P$ 是幂等的 $(P P = P)$ 。
$tr P = k$ 。
$P$ 的特征值为 1 和 0 。
$P$ 的 $k$ 特征值等于 1 和 $n - k$ 等于 0 。
$rank (P) = k$ 。

我们通过证明定理 2 中的主张来结束本节。

第 1 部分成立，因为

$\begin{aligned} P^{'} & = {(X {(X^{'} X)}^{- 1} X^{'})}^{'} \\ = {(X^{'})}^{'} {({(X^{'} X)}^{- 1})}^{'} (X)^{'} \\ = X {({(X^{'} X)}^{'})}^{- 1} X^{'} \\ = X {((X)^{'} {(X^{'})}^{'})}^{- 1} X^{'} = P . \end{aligned}$

为了建立第 2 部分， $P X = X$ 的事实意味着

$P P = P X {(X^{'} X)}^{- 1} X^{'} = X {(X^{'} X)}^{- 1} X^{'} = P$

对于第 3 部分，

$tr P = tr (X {(X^{'} X)}^{- 1} X^{'}) = tr ({(X^{'} X)}^{- 1} X^{'} X) = tr (I_{k}) = k .$

跟踪算子的定义和属性见附录 A.5。

附录 A.11 表明第 4 部分适用于任何幂等矩阵。对于第 5 部分，由于 $tr P$ 等于第 3 部分的 $n$ 特征值和 $tr P = k$ 之和，因此有 $k$ 特征值等于 1，其余 $n - k$ 等于 0。

对于第 6 部分，观察 $P$ 是半正定的，因为它的特征值都是非负的。根据定理 A.4.5，它的秩等于正特征值的数量，即声称的 $k$ 。

3 零化矩阵

定义

$M = I_{n} - P = I_{n} - X {(X^{'} X)}^{- 1} X^{'}$

其中 $I_{n}$ 是 $n \times n$ 单位矩阵。

可以看到，

$M X = (I_{n} - P) X = X - P X = X - X = 0 .$

因此 $M$ 和 $X$ 是正交的。

我们称 $M$ 为零化矩阵（Annihilator¹ matrix），因为对于 $X$ 的范围空间中的任何矩阵 $Z = X Γ$ ，那么

$M Z = Z - P Z = 0$

例如， $M X_{1} = 0$ 表示 $X$ 和 $M P = 0$ 的任何子组件 $X_{1}$ （参见练习 3.7）。

零化矩阵 $M$ 与 $P$ 具有相似的性质，包括 $M$ 是对称的 $(M^{'} = M)$ 和幂等的 $(M M = M)$ 。因此它是一个投影矩阵。

与定理 2 类似，我们可以计算

$tr M = n - k .$

（见习题 3.9。）一个暗示是 $M$ 的秩是 $n - k$ 。

$P$ 创建拟合值， $M$ 创建最小二乘残差：

$\begin{matrix} (3) & M Y = Y - P Y = Y - X \hat{β} = \hat{e} \end{matrix}$

如上一节所述，投影矩阵的一个特殊示例出现在 $X = 1_{n}$ 是一个由 1 组成的 $n$ -vector 时，因此 $P = 1_{n} {(1_{n}^{'} 1_{n})}^{- 1} 1_{n}^{'}$ 。相关的零化矩阵是

$M = I_{n} - P = I_{n} - 1_{n} {(1_{n}^{'} 1_{n})}^{- 1} 1_{n}^{'} .$

$P$ 创建样本均值向量， $M$ 创建离均值：

$M Y = Y - 1_{n} \bar{Y}$

为简单起见，我们通常将右侧写为 $Y - \bar{Y}$ 。 $i^{t h}$ 元素是 $Y_{i} - \bar{Y}$ ， $Y_{i}$ 的离均值

我们还可以使用式 3 为残差向量写一个替代表达式。将 $Y =$ $X β + e$ 代入 $\hat{e} = M Y$ 并使用 $M X = 0$ 我们发现

$\hat{e} = M Y = M (X β + e) = M e$

它不依赖于回归系数 $β$ 。

4 影响力值

回归矩阵 $X$ 的影响力值是投影矩阵 $P = X {(X^{'} X)}^{- 1} X^{'}$ 的对角线元素。有 $n$ 影响力值，通常写为 $h_{i i}$ 对应 $i = 1, \dots, n$ 。自从

$P = (\begin{matrix} X_{1}^{'} \\ X_{2}^{'} \\ ⋮ \\ X_{n}^{'} \end{matrix}) {(X^{'} X)}^{- 1} (\begin{array}{llll} X_{1} & X_{2} & \dots & X_{n} \end{array})$

他们是

$h_{i i} = X_{i}^{'} {(X^{'} X)}^{- 1} X_{i}$

影响力值 $h_{i i}$ 是观察到的回归向量 $X_{i}$ 的标准化长度。它们经常出现在最小二乘回归的代数和统计分析中，包括留一法回归、有影响的观察、稳健的协方差矩阵估计和交叉验证。

现在列出了影响力值的一些属性。

定理 3 (影响力值的性质)

$0 \leq h_{i i} \leq 1$ 。
$h_{i i} \geq 1 / n$ 如果 $X$ 包含截距。
$\sum_{i = 1}^{n} h_{i i} = k$ 。

影响力值 $h_{i i}$ 衡量 $i^{t h}$ 观察 $X_{i}$ 相对于样本中其他观察的异常程度。当 $X_{i}$ 与其他样本值完全不同时，会出现较大的 $h_{i i}$ 。衡量整体异常性的是最大影响力值

$\begin{matrix} (4) & \bar{h} = max_{1 \leq i \leq n} h_{i i} . \end{matrix}$

通常说，当影响力值都大致相等时，回归设计是平衡的。从定理 3 我们推导出当 $h_{i i} = \bar{h} = k / n$ 时出现完全平衡。完全平衡的一个例子是，当回归变量都是正交虚拟变量时，每个变量都有相同的 0 和 1 出现。

如果某些影响力值与其他影响力值高度不相等，则回归设计是不平衡的。最极端的情况是 $\bar{h} = 1$ 。发生这种情况的一个示例是，当有一个虚拟回归元仅对样本中的一个观察值取值为 1 时。

最大影响力值式 4 将根据回归变量的选择而变化。例如，考虑方程 (3.13)，对具有 $n = 268$ 观察值的单身亚洲男性的工资回归。这个回归有 $\bar{h} = 0.33$ 。如果省略平方经验回归量，则影响力值降至 $\bar{h} = 0.10$ 。如果添加一个立方经验，它会增加到 $\bar{h} = 0.76$ 。如果四次方和五次方相加，则增加到 $\bar{h} = 0.99$ 。

一些推理过程（例如稳健的协方差矩阵估计和交叉验证）对高影响力值很敏感。我们稍后会回到这些问题。

我们现在证明定理 3。

对于第 1 部分，令 $s_{i}$ 为 $n \times 1$ 单位向量，其中 $i^{t h}$ 位置为 1，其他位置为零，因此 $h_{i i} = s_{i}^{'} P s_{i}$ 。然后应用二次不等式 (B.18) 和定理 3.3.4，

$h_{i i} = s_{i}^{'} P s_{i} \leq s_{i}^{'} s_{i} λ_{max} (P) = 1$

对于第 2 部分分区 $X_{i} = {(1, Z_{i}^{'})}^{'}$ 。不失一般性，我们可以用离均值的值 $Z_{i}^{*} = Z_{i} - \bar{Z}$ 替换 $Z_{i}$ 。然后因为 $Z_{i}^{*}$ 和截距是正交的

$\begin{aligned} h_{i i} & = (1, Z_{i}^{*'}) {[\begin{array}{cc} n & 0 \\ 0 & Z^{*'} Z^{*} \end{array}]}^{- 1} (\begin{array}{c} 1 \\ Z_{i}^{*} \end{array}) \\ = \frac{1}{n} + Z_{i}^{*'} {(Z^{*'} Z^{*})}^{- 1} Z_{i}^{*} \geq \frac{1}{n} . \end{aligned}$

对于第 3 部分， $\sum_{i = 1}^{n} h_{i i} = tr P = k$ ，其中第二个等式是定理 3.3.3。

4.1 影响力值的计算

$P = X {(X^{'} X)}^{- 1} X^{'}$

影响力值 $h_{i i}$ 是上述投影矩阵的对角线元素，因此可以表达为：

第一步，先算出平方化矩阵²：

$H = X ⊙ (X \otimes {(X^{'} X)}^{- 1})$

第二步，对上述矩阵进行行加总求和：

$h_{i i} = \sum_{i = 1}^{n} H$

脚注

读作/əˈnaɪəˌleɪtər/↩︎
要注意后面部分是正常的矩阵运算 $\otimes$ ，然后再进行矩阵元素相乘运算 $⊙$ 。↩︎