在线性代数中,Sherman-Morrison 公式以 Jack Sherman 和 Winifred J. Morrison 命名,用于计算 $A + uv^T$ 的逆,其中 $A$ 为可逆方阵,$u, v$ 为列向量,$uv^T$ 为向量外积(outer product)。Sherman-Morrison 公式是 Woodbury 公式的一类特殊情况。

问题陈述

定理1(Sherman-Morrison formula) 假设 $A \in \mathbb{R}^{n\times n}$ 是一个可逆方阵,并且 $u, v\in \mathbb{R}^n$ 是列向量。那么 $A + uv^T$ 是可逆的当且仅当 $1 + v^T A^{-1} u \neq 0$. 当 $A + uv^T$ 可逆时,满足如下等式:

$$
(A + uv^T)^{-1} = A^{-1} - \frac{A^{-1}uv^TA^{-1}}{1+v^TA^{-1}u} \tag{i}.
$$

这里,$uv^T$ 表示两个向量 $u,v$ 的外积。

外积(outer product)说明:假设

$$
u =
\begin{bmatrix}
u_1 \\
u_2 \\
u_3
\end{bmatrix},
v =
\begin{bmatrix}
v_1 \\
v_2 \\
v_3
\end{bmatrix},
$$

那么 $u,v$ 的外积定义为

$$
u \otimes v = uv^T =
\begin{bmatrix}
u_1 \\
u_2 \\
u_3
\end{bmatrix}
\begin{bmatrix}
v_1 & v_2 & v_3
\end{bmatrix}

\begin{bmatrix}
u_1 v_1 & u_1 v_2 & u_1 v_3 \\
u_2 v_1 & u_2 v_2 & u_2 v_3 \\
u_3 v_1 & u_3 v_2 & u_3 v_3
\end{bmatrix}.
$$

从上面的例子可以看到,向量的外积就是两个矩阵的乘积。只不过是对向量(矩阵)乘积的独特称谓。

在证明 定理1 之前,我们先证明下面的矩阵行列式引理

矩阵行列式引理(Matrix determinant lemma) 假设 $A$ 是一个可逆方阵,$u,v$ 为列向量。那么下面等式成立:

$$
\textbf{det}(A + uv^T) = (1 + v^TA^{-1}u)\textbf{det}(A) \tag{ii}.
$$

这里 $uv^T$ 表示两个向量 $u,v$ 的外积。容易得到公式 (ii) 有如下的邻接矩阵表示形式:

$$
\textbf{det}(A + uv^T) = \textbf{det}(A) + v^T \textbf{adj}(A)u \tag{iii}.
$$

证明:对于公式(ii),首先证明当 $A=I$ 时的情况,此时,公式(ii)变成如下等式:

$$
\textbf{det}(I+uv^T) = (1 + v^Tu) \tag{iv}.
$$

证明公式(iv)只需要验证如下等式成立:

$$
\begin{bmatrix}
I & 0 \\
v^T & 1
\end{bmatrix}
\begin{bmatrix}
I+uv^T & u \\
0 & 1
\end{bmatrix}
\begin{bmatrix}
I & 0 \\
-v^T & 1
\end{bmatrix}

\begin{bmatrix}
I & u \\
0 & 1 + v^Tu
\end{bmatrix}\tag{v}.
$$

对等式(v)两边同时取行列式,即可得到公式(iv),对于公式(ii)可以通过简单变换成公式(iv)

$$
\textbf{det}(A + uv^T) = \textbf{det}(A)\textbf{det}(I + (A^{-1}u)v^T) = \textbf{det}(A)(1+v^T(A^{-1}u)).
$$

公式(ii)的更多推广这里就不介绍了。下面证明定理1

定理1证明

证明 (充分性 $\Rightarrow$)

充分性这里给出两种方法。第一种方法如下:

假设 $1 + v^TA^{-1}u=0$,根据矩阵行列式引理,

$$
\textbf{det}(A+uv^T)=(1+v^TA^{-1}u)\textbf{det}(A)=0.
$$

所以方阵 $(A+uv^T)$ 不可逆,矛盾。所以 $1 + v^T A^{-1} u \neq 0$.

第二种方法如下:

当 $u=0$ 时,显然有 $1+v^TA^{-1}u=1\neq0$. 当 $u\neq 0$ 时,假设 $1+v^TA^{-1}u=0$,那么

$$
(A+uv^T)A^{-1}u=u+u(v^TA^{-1}u)=(1+v^TA^{-1}u)u=0.
$$

因为 $A + uv^T$ 可逆,所以 $A^{-1}u=0$,又 $A^{-1}$ 可逆,所以 $u=0$,与假设矛盾。综上可知,充分性成立。

(必要性 $\Leftarrow$)

已知 $1+v^TA^{-1}u\neq0$,令 $X=A+uv^T,Y=(A^{-1}-\frac{A^{-1}uv^TA^{-1}}{1+v^TA^{-1}u})$,只需证明:$XY=YX=I$.

$$
\begin{align}
XY & = (A+uv^T)(A^{-1}-\frac{A^{-1}uv^TA^{-1}}{1+v^TA^{-1}u}) \\
& =AA^{-1}+uv^TA^{-1}-\frac{AA^{-1}uv^TA^{-1}+uv^TA^{-1}uv^TA^{-1}}{1+v^TA^{-1}u} \\
& =I+uv^TA^{-1}-\frac{uv^TA^{-1}+uv^TA^{-1}uv^TA^{-1}}{1+v^TA^{-1}u} \\
& =I+uv^TA^{-1}-\frac{u(1+v^TA^{-1}u)v^TA^{-1}}{1+v^TA^{-1}u} \\
& =I+uv^TA^{-1}-uv^TA^{-1} \\
& =I.
\end{align}
$$

同样方法能够证明 $YX=I$. 因此必要性成立。

简单应用

特别地,当 $A=I$ 时,Sherman-Morrison 公式变为如下,此时,只需要 $1+v^Tu\neq 0$ 即可

$$
(I+uv^T)^{-1}=I-\frac{uv^T}{1+v^Tu}.
$$

进一步,如果 $u=v$,此时 $\forall u$,$1+u^Tu\neq0$,都有如下公式成立

$$
(I+uu^T)^{-1} = I-\frac{uu^T}{1+u^Tu}.
$$

参考文献

  1. Sherman-Morrison公式及其应用_山阴少年的博客-CSDN博客