Projection Matrix

投影矩阵 | Projection Matrix

定义 | Definition

投影矩阵是一个方阵，能够将一个向量投影到一个子空间上。

The projection matrix is a square matrix that projects a vector onto a subspace.

给定一个矩阵 $\mathbf{A}$，其投影矩阵 $\mathbf{P}$ 可以定义为：

For a given matrix $\mathbf{A}$, the projection matrix $\mathbf{P}$ can be defined as:

$$\mathbf{P}=\mathbf{A}({\mathbf{A}}^T\mathbf{A}{)}^{-1}{\mathbf{A}}^T$$

其中 $\mathbf{A}$ 是一个 $m\times n$ 矩阵。

where $\mathbf{A}$ is an $m\times n$ matrix.

投影矩阵的推导 | Derivation of the Projection Matrix

为了推导投影矩阵，我们考虑一个向量 $\mathbf{b}$ 在子空间 $\mathrm{Col}(\mathbf{A})$ 上的投影。首先，我们需要找到一个向量 ${\mathbf{b}}_{\mathrm{proj}}$，它是 $\mathbf{b}$ 在子空间 $\mathrm{Col}(\mathbf{A})$ 上的正交投影。

To derive the projection matrix, we consider the projection of a vector $\mathbf{b}$ onto the subspace $\mathrm{Col}(\mathbf{A})$. We need to find a vector ${\mathbf{b}}_{\mathrm{proj}}$ that is the orthogonal projection of $\mathbf{b}$ onto the subspace $\mathrm{Col}(\mathbf{A})$.

1. 定义正交投影 | Define Orthogonal Projection

设 ${\mathbf{b}}_{\mathrm{proj}}$ 是 $\mathbf{b}$ 在 $\mathrm{Col}(\mathbf{A})$ 上的投影，则 ${\mathbf{b}}_{\mathrm{proj}}$ 可以表示为：

Let ${\mathbf{b}}_{\mathrm{proj}}$ be the projection of $\mathbf{b}$ onto $\mathrm{Col}(\mathbf{A})$, then ${\mathbf{b}}_{\mathrm{proj}}$ can be expressed as:

$${\mathbf{b}}_{\mathrm{proj}}=\mathbf{Ax}$$

其中 $\mathbf{x}$ 是一个系数向量。

where $\mathbf{x}$ is a coefficient vector.

2. 最小化投影误差 | Minimize the Projection Error

我们希望 ${\mathbf{b}}_{\mathrm{proj}}$ 最小化 $\Vert \mathbf{b}-{\mathbf{b}}_{\mathrm{proj}}\Vert$。这等价于最小化 $\Vert \mathbf{b}-\mathbf{Ax}\Vert$。

We want ${\mathbf{b}}_{\mathrm{proj}}$ to minimize $\Vert \mathbf{b}-{\mathbf{b}}_{\mathrm{proj}}\Vert$. This is equivalent to minimizing $\Vert \mathbf{b}-\mathbf{Ax}\Vert$。

为了最小化这个误差，我们求误差的平方和并将其设置为零：

To minimize this error, we take the sum of squared errors and set its gradient to zero:

$$\Vert \mathbf{b}-\mathbf{Ax}{\Vert }^2=(\mathbf{b}-\mathbf{Ax}{)}^T(\mathbf{b}-\mathbf{Ax})$$

展开得到：

Expanding this, we get:

$$(\mathbf{b}-\mathbf{Ax}{)}^T(\mathbf{b}-\mathbf{Ax})={\mathbf{b}}^T\mathbf{b}-2{\mathbf{b}}^T\mathbf{Ax}+{\mathbf{x}}^T{\mathbf{A}}^T\mathbf{Ax}$$

3. 对 $\mathbf{x}$ 求导 | Differentiate with Respect to $\mathbf{x}$

为了找到最小值，我们对 $\mathbf{x}$ 求导并设置为零：

To find the minimum, we take the derivative with respect to $\mathbf{x}$ and set it to zero:

$$\frac{\partial }{\partial \mathbf{x}}({\mathbf{b}}^T\mathbf{b}-2{\mathbf{b}}^T\mathbf{Ax}+{\mathbf{x}}^T{\mathbf{A}}^T\mathbf{Ax})=0$$

计算导数：

Calculating the derivatives, we get:

$$-2{\mathbf{A}}^T\mathbf{b}+2{\mathbf{A}}^T\mathbf{Ax}=0$$

4. 解正则方程 | Solve the Normal Equations

简化得：

Simplifying, we get:

$${\mathbf{A}}^T\mathbf{Ax}={\mathbf{A}}^T\mathbf{b}$$

5. 求解 $\mathbf{x}$ | Solve for $\mathbf{x}$

假设 ${\mathbf{A}}^T\mathbf{A}$ 是可逆的，我们可以得到 $\mathbf{x}$ 的解：

Assuming ${\mathbf{A}}^T\mathbf{A}$ is invertible, we get the solution for $\mathbf{x}$:

$$\mathbf{x}=({\mathbf{A}}^T\mathbf{A}{)}^{-1}{\mathbf{A}}^T\mathbf{b}$$

6. 投影矩阵的计算 | Calculation of the Projection Matrix

将 $\mathbf{x}$ 的解代入 ${\mathbf{b}}_{\mathrm{proj}}=\mathbf{Ax}$，得到：

Substituting the solution for $\mathbf{x}$ into ${\mathbf{b}}_{\mathrm{proj}}=\mathbf{Ax}$, we get:

$${\mathbf{b}}_{\mathrm{proj}}=\mathbf{A}({\mathbf{A}}^T\mathbf{A}{)}^{-1}{\mathbf{A}}^T\mathbf{b}$$

因此，投影矩阵 $\mathbf{P}$ 定义为：

Thus, the projection matrix $\mathbf{P}$ is defined as:

$$\mathbf{P}=\mathbf{A}({\mathbf{A}}^T\mathbf{A}{)}^{-1}{\mathbf{A}}^T$$

投影矩阵的性质 | Properties of the Projection Matrix

1. 对称性 | Symmetry: 投影矩阵 $\mathbf{P}$ 是对称矩阵，即 $\mathbf{P}={\mathbf{P}}^T$。 The projection matrix $\mathbf{P}$ is symmetric, i.e., $\mathbf{P}={\mathbf{P}}^T$.

2. 幂等性 | Idempotency: 投影矩阵 $\mathbf{P}$ 是幂等矩阵，即 ${\mathbf{P}}^2=\mathbf{P}$。 The projection matrix $\mathbf{P}$ is idempotent, i.e., ${\mathbf{P}}^2=\mathbf{P}$.

投影的计算 | Calculation of Projection

给定一个向量 $\mathbf{b}$，其在子空间 $\mathrm{Col}(\mathbf{A})$ 上的投影 ${\mathbf{b}}_{\mathrm{proj}}$ 计算如下：

Given a vector $\mathbf{b}$, its projection ${\mathbf{b}}_{\mathrm{proj}}$ onto the subspace $\mathrm{Col}(\mathbf{A})$ is calculated as:

$${\mathbf{b}}_{\mathrm{proj}}=\mathbf{Pb}$$

伪逆矩阵 | Pseudo-Inverse Matrix

伪逆矩阵是一种广义逆矩阵，用于解决一些矩阵方程（如线性回归中的正则方程）。

The pseudo-inverse matrix is a type of generalized inverse matrix used to solve certain matrix equations, such as normal equations in linear regression.

对于一个矩阵 $\mathbf{A}$，其伪逆矩阵 ${\mathbf{A}}^{+}$ 定义为：

For a matrix $\mathbf{A}$, its pseudo-inverse ${\mathbf{A}}^{+}$ is defined as:

$${\mathbf{A}}^{+}=({\mathbf{A}}^T\mathbf{A}{)}^{-1}{\mathbf{A}}^T$$

推导过程 | Derivation

为了推导伪逆矩阵，我们首先考虑一个线性方程组 $\mathbf{Ax}=\mathbf{b}$ 的最小二乘解 $\mathbf{x}$：

To derive the pseudo-inverse matrix, we first consider the least squares solution $\mathbf{x}$ of the linear system $\mathbf{Ax}=\mathbf{b}$:

$$\mathbf{x}={\mathbf{A}}^{+}\mathbf{b}$$

我们要求 $\mathbf{x}$ 使得 $\Vert \mathbf{Ax}-\mathbf{b}\Vert$ 最小化，这意味着我们需要解以下正则方程：

We want $\mathbf{x}$ to minimize $\Vert \mathbf{Ax}-\mathbf{b}\Vert$, which means we need to solve the following normal equations:

$${\mathbf{A}}^T\mathbf{Ax}={\mathbf{A}}^T\mathbf{b}$$

假设 ${\mathbf{A}}^T\mathbf{A}$ 可逆，我们可以得到 $\mathbf{x}$ 的解：

Assuming ${\mathbf{A}}^T\mathbf{A}$ is invertible, we get the solution for $\mathbf{x}$:

$$\mathbf{x}=({\mathbf{A}}^T\mathbf{A}{)}^{-1}{\mathbf{A}}^T\mathbf{b}$$

因此，伪逆矩阵 ${\mathbf{A}}^{+}$ 为：

Thus, the pseudo-inverse matrix ${\mathbf{A}}^{+}$ is:

$${\mathbf{A}}^{+}=({\mathbf{A}}^T\mathbf{A}{)}^{-1}{\mathbf{A}}^T$$

与线性方程组的关系 | Relationship with Linear Systems

方程组 $\mathbf{Ax}=\mathbf{b}$ 的解 | Solutions to $\mathbf{Ax}=\mathbf{b}$

对于线性方程组 $\mathbf{Ax}=\mathbf{b}$，若 $\mathbf{A}$ 是满秩矩阵（即 ${\mathbf{A}}^T\mathbf{A}$ 可逆），则方程组有唯一解：

For the linear system $\mathbf{Ax}=\mathbf{b}$, if $\mathbf{A}$ is a full-rank matrix (i.e., ${\mathbf{A}}^T\mathbf{A}$ is invertible), then the system has a unique solution:

$$\mathbf{x}={\mathbf{A}}^{+}\mathbf{b}$$

无解或多解的情况 | No Solutions or Multiple Solutions

若 $\mathbf{A}$ 不是满秩矩阵，方程组可能无解或有无穷多解。在这种情况下，可以求得最小二乘解 $\mathbf{x}$：

If $\mathbf{A}$ is not a full-rank matrix, the system may have no solutions or infinitely many solutions. In this case, the least squares solution $\mathbf{x}$ can be found:

$$\mathbf{x}={\mathbf{A}}^{+}\mathbf{b}$$

此时，$\mathbf{x}$ 是使 $\Vert \mathbf{Ax}-\mathbf{b}\Vert$ 最小的向量。

In this case, $\mathbf{x}$ is the vector that minimizes $\Vert \mathbf{Ax}-\mathbf{b}\Vert$.

现实中的应用 | Real-World Applications

数据量远大于变量数量的情况 | When the Amount of Data Far Exceeds the Number of Variables

在统计学和机器学习中，线性方程组 $\mathbf{Ax}=\mathbf{b}$ 中的数据量（观测数 $m$）通常远大于变量数量（特征数 $n$），即 $m\gg n$。这种情况下，矩阵 $\mathbf{A}$ 通常是满秩的，因此 ${\mathbf{A}}^T\mathbf{A}$ 是可逆的。

In statistics and machine learning, the linear system $\mathbf{Ax}=\mathbf{b}$ often involves a dataset where the number of observations $m$ is much larger than the number of variables $n$, i.e., $m\gg n$. In such cases, the matrix $\mathbf{A}$ is typically full-rank, making ${\mathbf{A}}^T\mathbf{A}$ invertible.