1.4. 特征值与特征向量

如何选择线性空间的基, 使得线性变换在该基下的矩阵表示最为简单. 涉及 特征值(eigenvalue) 与特征向量(eigenvector)

1.4.1. 特征值与特征向量

线性变换的特征值与特征向量

Definition 1.11 (线性变换的特征值与特征向量)

设 $T$ 是数域 ${\mathbb K}$ 上的线性空间 ${\mathbb V}^n$ 上的线性变换, 且对于数域 ${\mathbb K}$ 中的数 $\lambda$ , 若存在非零向量 ${\bm x} \in {\mathbb V}^n$ 满足如下条件

$T{\bm x} = \lambda {\bm x}$

则称 $\lambda$ 为 $T$ 的 特征值 , ${\bm x}$ 为 $T$ 的属于特征值 $\lambda$ 的特征向量.

注解

由上述定义知:

• 线性变换不改变特征向量的方向

• 特征值被特征向量唯一确定, 特征向量不被特征值唯一确定( $T(k{\bm x}) = k\lambda {\bm x}$ )

矩阵的特征值与特征向量

Definition 1.12 (矩阵的特征值与特征向量)

设有矩阵 ${\bm A}$ , 且对于数域 ${\mathbb K}$ 中的数 $\lambda$ , 若存在非零向量 ${\bm x} \in {\mathbb V}^n$ 满足如下条件

${\bm A}{\bm x} = \lambda {\bm x}$

则称 $\lambda$ 为矩阵 ${\bm A}$ 的 特征值 , ${\bm x}$ 为 ${\bm A}$ 的属于特征值 $\lambda$ 的特征向量.

特征值与特征向量的关系

注解

• 特征值被特征向量唯一确定, 特征向量不被特征值唯一确定( $T(k{\bm x}) = k\lambda {\bm x}$ )

• 互不相同的特征值对应的特征向量线性无关

实例

编程生成二维平面 $(x, y)$ 中的点, 这些点落在一个椭圆内, 长轴为 $6$ , 短轴为 $2$ , 如 图 1.5 所示, 其主要的方向有两个, 长轴方向(红色), 短轴方向(蓝).

对这些二维数据做主成分分析 ( Principal Component Analysis, PCA), 可得两个主要方向:

1. 零均值化数据

2. 计算数据的协方差(即两个维度间的)

3. 计算协方差矩阵的特征值与特征向量

图 1.5 椭圆内点的特征向量可视化

对椭圆内的点进行特征分解, 得到两个特征方向, 并进行特征向量可视化, 长轴(红), 短轴(蓝).

警告

注意这里是对数据的协方差矩阵作特征值分解, 是否可以不求协方差矩阵直接对原始数据矩阵进行分析得到主方向. 特征值特征向量是针对变换矩阵而言的, 对数据矩阵是否有相关理论.

实现代码, 参见文件 demo_eigen_ellipse.py .

代码 1.2 demo_eigen_ellipse.py

import pytool
import numpy as np
import matplotlib.pyplot as plt

# =====================generate Ellipse=====================
a = 6  # major axis
b = 2  # minor axis
x0 = 10  # center x0
y0 = 10  # center y0
N = 1000  # number of points

# angle for rotating ellipse data
theta = np.pi * 30 / 180

x, y = pytool.ellipse_surface(a, b, x0, y0, N, 'rand')
# x, y = pytool.ellipse_surface(a, b, x0, y0, N, 'order')


x = x - np.mean(x)
y = y - np.mean(y)

xse = [min(x), max(x)]
yse = [min(y), max(y)]


xy = np.array([x, y])
print(xy.shape)

A = xy

# ========================rotate============================
# ------------rotating matrix(Anti-clockwise)---------------
M = [[np.cos(theta), np.sin(theta)],
     [-np.sin(theta), np.cos(theta)]]
M = [[np.cos(theta), -np.sin(theta)],
     [np.sin(theta), np.cos(theta)]]
print("rotating matrix M: ", M)

# -----------------------rotating---------------------------
A = np.dot(M, A)

x = A[0]
y = A[1]

# ========================show data=========================
plt.figure()
plt.scatter(x, y, c='g', marker='o')
plt.grid()

# ==================Eigenvalue decomposition================

AAT = np.dot(A, A.transpose())
ATA = np.dot(A.transpose(), A)

evalues, evectors = np.linalg.eig(AAT)
# evalues, evectors = np.linalg.eig(ATA)
print(A.shape, AAT.shape, evalues.shape, evectors.shape)
print(AAT)
print("evalues: ", evalues, "evectors: ", evectors)
angle1 = np.arctan(evectors[1, 0] / evectors[0, 0]) * 180 / np.pi
angle2 = np.arctan(evectors[1, 1] / evectors[0, 1]) * 180 / np.pi
print(angle1, angle2)


# =====================plot eigen vector=====================
colorlines = ['-r', '-b']
pytool.plot_vectors2d(evectors.transpose(), xse=xse, yse=yse,
                      nPoints=N, title='eigen vectors', colorlines=colorlines)
plt.legend(['eigen vector1', 'eigen vector2'])
plt.show()


plt.figure()
plt.imshow(AAT)
plt.show()

1.4.2. 广义特征向量

概念与内涵

一般, 若 $\lambda^*$ 是矩阵 ${\bm A}$ 的 $k$ 重特征值, 则对应的线性无关的特征向量 ${\bm x}_1, {\bm x}_2, \cdots, {\bm x}_k$ 可由下列方程组求出

$(\lambda^* {\bm I}-{\bm A}){\bm x}_i = - {\bm x}_{i-1}$

其中, $i = 1, 2, \cdots, k$ , 且规定 ${\bm x}_0 = {\bm 0}$ , 将求得的 $k$ 个向量 ${\bm x}_1, {\bm x}_2, \cdots, {\bm x}_k$ 称为矩阵 ${\bm A}$ 的 广义特征向量 .

计算步骤

1. 写出特征多项式矩阵 $\lambda {\bm I}-{\bm A}$

2. 令特征多项式矩阵对应的行列式的值为 $|\lambda {\bm I}-{\bm A}| = 0$

3. 求解得特征值 $\lambda$

4. 对于单重特征值: 代入方程组 $(\lambda {\bm I}-{\bm A}){\bm x} = {\bm 0}$ , 求解特征向量.

5. 对于多重特征值: 代入方程组 $(\lambda^* {\bm I}-{\bm A}){\bm x}_i = - {\bm x}_{i-1}$ , 求解广义特征向量.

1.4.3. 例子(广义特征向量)

注解

求如下矩阵的特征值与特征向量/广义特征向量

${\bm{A}} = \left[ {\begin{array}{ccc} 0&2&2\\ 2&1&2\\ 0&2&1 \end{array}} \right]$

解:

1. 特征多项式矩阵为

$\lambda {\bm I}-{\bm A} = {\left[ {\begin{array}{ccc} \lambda &{ - 2}&{ - 2}\\ { - 2}&{\lambda - 1}&{ - 2}\\ 0&{ - 2}&{\lambda - 1} \end{array}} \right]}$

可使用初等变换稍微化简, 方便求行列式的值 $|\lambda {\bm I}-{\bm A}| = {{{(\lambda + 1)}^2}(\lambda - 4)}$

2. 求解 $|\lambda {\bm I}-{\bm A}| = {{{(\lambda + 1)}^2}(\lambda - 4)} = 0$ 的解为 $\lambda_1 = 4, \lambda_2 = \lambda_3 = -1$

3. 由 $(\lambda_1 {\bm I}-{\bm A}){\bm x}_1 = {\bm 0}$ 求解出对应于 $\lambda_1$ 的特征向量 ${\bm x}_1 = (5, 6, 4)^T$ , 由 $(\lambda_2 {\bm I}-{\bm A}){\bm x}_2 = {\bm 0}$ , $(\lambda_3 {\bm I}-{\bm A}){\bm x}_3 = -{\bm x}_2$ 求解广义特征向量 ${\bm x}_2 = (0, 1, -1)^T$ , ${\bm x}_3 = (1, -1, 1/2)^T$

1.4.4. 特征多项式与最小多项式

特征多项式

设 $T$ 是 ${\mathbb V}^n$ 中的线性变换, ${\bm x}_1, {\bm x}_2, \cdots, {\bm x}_n$ 是线性空间 ${\mathbb V}^n$ 中的基, $T$ 在该基下的矩阵为 ${\bm A}$ , 再设 ${\bm x} = {\xi}_1 {\bm x}_1 + {\xi}_2 {\bm x}_2 + \cdots + {\xi}_n {\bm x}_n$ 为 $T$ 的属于特征值 $\lambda$ 的特征向量, 则由 $T{\bm x} = \lambda {\bm x}$ 知

${\bm A}\left[ {\begin{array}{lll}{{\xi _1}}\\{{\xi _2}}\\ \vdots \\{{\xi _n}}\end{array}} \right] = \lambda \left[ {\begin{array}{lll}{{\xi _1}}\\{{\xi _2}}\\ \vdots \\{{\xi _n}}\end{array}} \right]$

从而有

$(\lambda {\bm I} - {\bm A}) \left[ {\begin{array}{lll}{{\xi _1}}\\{{\xi _2}}\\ \vdots \\{{\xi _n}}\end{array}} \right] = {\bm 0}$

由 ${\bm x} \neq {\bm 0}$ 知, ${\xi _1}, {\xi _2}, \cdots, {\xi _n}$ 不全为零, 从而方程组有非零解, 则

${\varphi}(\lambda) = {\rm det}(\lambda {\bm I} - {\bm A}) = \left | \lambda {\bm I} - {\bm A} \right | = (\lambda - \lambda_1)(\lambda - \lambda_2)\cdots(\lambda - \lambda_n)$

Definition 1.13 (特征多项式)

设有数域 ${\mathbb K}$ 上的 $n$ 阶方阵 ${\bm A}$ , 变量 $\lambda$ , 矩阵 ${\bm A}$ 的 特征矩阵 $\lambda {\bm I} - {\bm A}$ 的行列式 ${\rm det}(\lambda {\bm I} - {\bm A})$ 称为矩阵 ${\bm A}$ 的 特征多项式 . 记为 $\varphi (\lambda)$ , 其根 $\lambda_i$ 为 ${\bm A}$ 的 特征值 , 非零解向量 :$({\xi _1}, {\xi _2}, \cdots, {\xi _n})^T$ 为 ${\bm A}$ 的属于特征值 $\lambda_i$ 的 特征向量 .

注解

线性变换 $T$ 的特征值与特征向量, 与 $T$ 的矩阵 ${\bm A}$ 的特征值与特征向量一一对应:

• $T$ 与 ${\bm A}$ 的特征值一致

• $T$ 的特征向量在基下的坐标与 ${\bm A}$ 的特征向量一致

• 线性变换 $T$ 的矩阵 ${\bm A}$ 的特征多项式与基的选择无关

即, 若 ${\bm A}$ 为 $T$ 在基 ${\bm x}_1, {\bm x}_2, \cdots, {\bm x}_n$ 下的矩阵, $({\xi _1}, {\xi _2}, \cdots, {\xi _n})^T$ 为矩阵 ${\bm A}$ 的属于特征值 $\lambda$ 的特征向量, 则

• $\lambda$ 是 $T$ 的特征值

• ${\bm x} = {\xi}_1 {\bm x}_1 + {\xi}_2 {\bm x}_2 + \cdots + {\xi}_n {\bm x}_n$ 是 $T$ 的属于特征值 $\lambda$ 的特征向量

• 线性变换 $T$ 的矩阵 ${\bm A}$ 的特征多项式与基的选择无关

Theorem 1.14 (Hamilton-Cayley)

$n$ 阶矩阵 ${\bm A}$ 是其特征多项式 ${\varphi}(\lambda)$ 的矩阵根. 即若有

${\varphi}(\lambda) = {\rm det}(\lambda {\bm I} - {\bm A}) = \lambda^n + a_1\lambda^{n-1} + \cdots + a_{n-1}\lambda + a_n$

则

${\varphi}({\bm A}) = {\bm A}^n + a_1{\bm A}^{n-1} + \cdots + a_{n-1}{\bm A} + a_n{\bm I} = {\bm O}.$

最小多项式

Definition 1.15 (最小多项式)

定义: 首项系数是1, 次数最小, 且以矩阵 ${\bm A}$ 为根的 $\lambda$ 的多项式, 称为 ${\bm A}$ 的 最小多项式 (MinimalPolynomial) , 常用 $m(\lambda)$ 表示.

1.4.5. 特征子空间与不变子空间

什么是特征子空间

Definition 1.16 (特征子空间)

定义: 设 $T$ 是线性空间 ${\mathbb V}^n$ 的线性变换, $\lambda$ 是 $T$ 的一个特征值, 称 ${\mathbb V}^n$ 的子空间 ${\mathbb V}^n_{\lambda}$ 是 $T$ 的属于 $\lambda$ 的 特征子空间 (Characteristic Subspace) , 其中

${\mathbb V}^n_{\lambda} = \{ {\bm x} | T{\bm x} = \lambda {\bm x} , {\bm x} \in {\mathbb V}^n \}.$

提示

1. 特征子空间是线性子空间

2. 特征子空间是由特征向量加上零向量构成的子空间.

什么是不变子空间

Definition 1.17 (不变子空间)

若 $T$ 是线性空间 ${\mathbb V}$ 的线性变换, ${\mathbb V}_1$ 是 ${\mathbb V}$ 的子空间, 且 $\forall {\bm x} \in {\mathbb V}_1$ , 有 $T{\bm x} \in {\mathbb V}_1$ , 则称 ${\mathbb V}_1$ 是 $T$ 的 不变子空间 (Invariant Subspace).

1.4.6. 信号子空间与噪声子空间

在数字信号处理领域经常定义 信号子空间 (Signal Subspace) 与 噪声子空间 (Noise Subspace)