主成分分析 PCA

给定向量组$A:a_1,a_2,\cdots ,a_m$，如果存在不全为零的数$k_1,k_2,\cdots ,k_m$，使$$k_1{a}_1+k_2{a}_2+\cdots +k_m{a}_m=0$$则称向量组$A$是线性相关的，否则称它线性无关。 几何意义：2个向量是共线，3个向量是共面。 设$V$为向量空间，如果$r$个向量$a_1,a_2,\cdots ,a_r\in V$，且满足

$a_1,a_2,\cdots ,a_r$线性无关$V$中任一向量都可由$a_1,a_2,\cdots ,a_r$线性表示

那么，向量组$a_1,a_2,\cdots ,a_r$就称为向量空间$V$的一个基，$r$称为向量空间$V$的维数，并称$V$为$r$维向量空间。 若把向量空间$V$看作向量组，则由最大无关组的等价定义可知，$V$的基就是向量组的最大无关组，$V$的维数就是向量组的秩

设有向量组$A$，如果在$A$中能选出$r$个向量$a_1,a_2,\cdots ,a_r$，满足

向量组$A_0:a_1,a_2,\cdots ,a_r$线性无关向量组$A$中任意$r+1$个向量（如果$A$中有$r+1$个向量的话）都线性相关

那么称向量组$A_0$是向量组$A$的一个最大线性无关向量组（简称最大无关组）；最大无关组所含向量个数$r$称为向量组$A$的秩，记作$R_A$

给定向量组$A:a_1,a_2,\cdots ,a_m$，对于任何一组实数$k_1,k_2,\cdots ,k_m$，表达式$$k_1{a}_1+k_2{a}_2+\cdots +k_m{a}_m$$称为向量组$A$的一个线性组合，$k_1,k_2,\cdots ,k_m$称为这个线性组合的系数。 给定向量组$A:a_1,a_2,\cdots ,a_m$和向量$b$，如果存在一组数${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_m$，使$$b={\lambda }_1{a}_1+{\lambda }_2{a}_2+\cdots +{\lambda }_m{a}_m$$则向量$b$是向量组$A$的线性组合，这时称向量$b$能由向量组$A$线性表示。 向量$b$能由向量组$A$线性表示，也就是方程组$$x_1{a}_1+x_2{a}_2+\cdots +x_m{a}_m=b$$有解。

设有两个向量组$A:a_1,a_2,\cdots ,a_m$，及$B:b_1,b_2,\cdots ,b_l$，若$b$组中的每个向量都能由向量组$A$线性表示，则称向量组$B$能由向量组$A$线性表示。若向量组$A$与向量组$B$能相互线性表示，则称这两个向量组等价。

向量$b$能由向量组$A:a_1,a_2,\cdots ,a_m$线性表示的充分必要条件是矩阵$A=(a_1,a_2,\cdots ,a_m)$的秩等于矩阵$B=(a_1,a_2,\cdots ,a_m,b)$的秩。向量组$B:b_1,b_2,\cdots ,b_l$能由向量组$A:a_1,a_2,\cdots ,a_m$线性表示的充分必要条件是矩阵$A=(a_1,a_2,\cdots ,a_m)$的秩等于矩阵$(A,B)=(a_1,a_2,\cdots ,a_m,b_1,b_2,\cdots ,b_l)$的秩，即$R(A)=R(A,B)$，其中$A$和$B$是向量组$A$和$B$所构成的矩阵设向量组$B:b_1,b_2,\cdots ,b_l$能由向量组$A:a_1,a_2,\cdots ,a_m$线性表示，则$R(b_1,b_2,\cdots ,b_l)\le R(a_1,a_2,\cdots ,a_m)$向量组$A:a_1,a_2,\cdots ,a_m$线性相关的充分必要条件是它所构成的矩阵$A=(a_1,a_2,\cdots ,a_m)$的秩小于向量个数$m$；向量组线性无关的充分必要条件是$R(A)=m$若向量组$A:a_1,a_2,\cdots ,a_m$线性相关，则向量组$B:a_1,a_2,\cdots ,a_m,a_{m+1}$也线性相关。反言之，若向量组$B$线性无关，则向量组$A$也线性无关$m$个$n$维向量组成的向量组，当维数$n$小于向量个数$m$时一定线性相关。特别地，$n+1$个$n$维向量一定线性相关设向量组$A:a_1,a_2,\cdots ,a_m$线性无关，则向量组$B:a_1,a_2,\cdots ,a_m,b$线性相关，则向量$b$必能由向量组$A$线性表示，且表达式是唯一的