线性代数复习

date
Dec 20, 2021
Last edited time
Apr 29, 2022 02:37 AM
status
Published
slug
线性代数复习
tags
Math
summary
正在复习线性代数所做的笔记
type
Post
origin
https://www.notion.so/lazurite/b8cca6ca4b1047fdb03861a9e6a55d9d
Field
Plat
运算性质线性相关正交正交与线性无关方差变换线性变换初等变换向量L2范数L1范数矩阵酉矩阵伴随矩阵逆矩阵伪逆（广义逆）病态条件对称矩阵反对称矩阵共轭矩阵矩阵的秩奇异/非奇异对角化代数重数与几何重数相似矩阵正交矩阵正交变换特征值与特征向量特征值与矩阵矩阵的迹奇异值分解行列式行列式的值行列式的性质余子式与代数余子式求解方程组解的情况克拉默法则(唯一解情况)无穷解情况解的结构(非齐次方程通解 = 非齐次方程特解+对应齐次方程的通解)例题向量组的线性相关性零空间向量组最大无关组例题二次型二次型的正负定线性空间拉格朗日乘数法
The Matrix Cookbook
676.5KB
线性代数复习.pdf
339.4KB
线性代数
线性代数,advanced mathematics,线性代数在线学习,线性代数课程
线性代数
https://docs.irudder.me/Linear-algebra-docs/#/
实值复变函数求导
矩阵 A 的值域空间和其零空间

运算

性质

线性相关

向量空间的一组元素中，若没有向量可用有限个其他向量的线性组合所表示，则称为线性无关或线性独立（linearly independent），反之称为线性相关（linearly dependent）。例如在三维欧几里得空间R3的三个向量(1, 0, 0)，(0, 1, 0)和(0, 0, 1)线性无关。但(2, −1, 1)，(1, 0, 1)和(3, −1, 2)线性相关，因为第三个是前两个的和。
 

正交

若内积空间中两向量的内积为0，则称它们是正交的。正交是垂直这一直观概念的推广。
若 维向量两两正交, 则它们线性无关

正交与线性无关

正交的向量一定线性无关，线性无关的向量不一定正交。
 

方差

  1. 前置知识
  1. 向量的方差
      2. 对角线上元素对应的是每个分量的方差

变换

线性变换

定义5.1：对矩阵A所施行的以下三种变换，称为矩阵的初等行（列）变换，统称为矩阵的初等变换：
（ⅰ）交换A的某两行（列）；
（ⅱ）用一个非零数k去乘A的某一行（列）；
（ⅲ）把A中某一行（列）的倍数加到另一行（列）上。
 

初等变换

  1. 变换矩阵

向量

L2范数

令 , 则 称为 维向量 的长度(范数)

L1范数

使用深度学习当中, 若使用L1正则化, 容易将参数优化成多个0, 形成稀疏矩阵. L2 则会选择更多的特征, 只会接近0, 而不容易等于0.
 

矩阵

酉矩阵

酉矩阵满足以下性质：
其中， 是 的共轭转置， 是 的单位矩阵。也就是说
酉矩阵是实数上正交矩阵，在复数域上的推广。

伴随矩阵

伴随矩阵的性质

逆矩阵

给定一个 阶方阵，若存在一 阶方阵， 使得 ，其中 为 阶单位矩阵，则称 是可逆的，且 是 的逆阵，记作 。
常用逆矩阵的求解方法
  1. 高斯消元法
  1. 代数余子式
推论:
 

伪逆（广义逆）

广义逆是线性代数中针对矩阵的一种运算。一个矩阵 的广义逆叫做 的广义逆阵，是指具有部份逆矩阵的特性，但是不一定具有逆矩阵的所有特性的另一矩阵。假设一矩阵 及另一矩阵 ，若 满足 ，则 为 的广义逆矩阵。
  • Moore-Penrose伪逆
      • 矩阵 的伪逆定义为：
      计算伪逆的实际算法没有基于这个定义，而是使用下面的公式：
      其中，矩阵 ， 和 是矩阵 奇异值分解后得到的矩阵。对角矩阵 的伪逆 是其非零元素取倒数之后再转置得到的。
    • 当矩阵 的列数多于行数时，使用伪逆求解线性方程是众多可能解法中的一种。特别地， 是方程所有可行解中欧几里得范数 最小的一个。
    • 当矩阵 的行数多于列数时，可能没有解。在这种情况下，通过伪逆得到的 使得 和 的欧几里得距离 最小

病态条件

  • 在特征值分解情况的条件数定义为最大和最小特征值的模之比。
      • 当该数很大时，矩阵求逆对输入的误差特别敏感。
      这种敏感性是矩阵本身的固有特性，而不是矩阵求逆期间舍入误差的结果。即使我们乘以完全正确的矩阵逆，病态条件的矩阵也会放大预先存在的误差。在实践中，该错误将与求逆过程本身的数值误差进一步复合。

对称矩阵

若 为 阶方阵, 如果满足 则 为对称阵
  • 设 为矩阵的两个特征值, 是对应的两个特征向量, 若 , 则 与 正交
  • 一个对称矩阵必有一个正交矩阵 能使其对角化
若存在一个正交矩阵 使 矩阵 能够对角化, 则矩阵 为对称矩阵
设 , 则
例
notion image

反对称矩阵

若 为 阶方阵, 如果满足 则 为反对称阵

共轭矩阵

矩阵的秩

若在矩阵 中有一个 阶子式 非零, 且所有的 阶子式(如果存在的话)都为零, 则称 为矩阵 的一个最高阶非零子式, 称数 为矩阵 的秩, 记作 . 规定零矩阵的秩为零.
性质
      2. 最后一个我暂时未证明

奇异/非奇异

若方块矩阵 满足条件 ，则称 为奇异方阵，否则称为非奇异方阵。
可逆和非奇异方阵的关系：对于 阶方阵而言，非奇异等价于可逆矩阵。

对角化

将可对角化的方阵 通过与转换矩阵 的运算，转换为对角矩阵的过程叫做对角化。
方阵可对角化充要条件： 方阵可进行对角化的充分必要条件是： 阶方阵存在 个线性无关的特征向量。
转换矩阵的列向量即方阵的特征向量.
 
 
相似. 求 , , 并求一个可逆矩阵 , 使得
 
 
 
 

代数重数与几何重数

相似矩阵

两个系数域为 的 阶方阵 与 为域 上的相似矩阵当且仅当存在一个系数域为 的 的可逆矩阵 ，使得:, 这时称矩阵 与 相似
相似矩阵之间的特征值与特征多项式相同.

正交矩阵

一个 阶方阵 ，其元素为实数，而且行（列）向量为两两正交的单位向量，使得该矩阵的转置矩阵为其逆矩阵。
其中， 为单位矩阵。正交矩阵的行列式值必定为 或
施密特正交化
 
 
 
 

正交变换

为正交矩阵，而 为向量，则 称作正交变换。正交变换不改变向量的长度。
 

特征值与特征向量

对于 方阵 ，若标量 和 维非 列向量 满足： ,那么称 为 的特征值， 称为对应于特征值 的特征向量。
几何意义
反映的是：特征向量 的长度在线性变换 下缩放的比例。
如果特征值为正，则表示 在经过线性变换的作用后方向也不变；如果特征值为负，说明方向会反转；如果特征值为 ，则是表示缩回零点。但无论怎样，仍在同一条直线上。
  • 设 是矩阵 的 个特征值, 依次是与之对应的特征向量. 如果 各不相等, 则 线性无关
  • 设 是 矩阵 的两不同特征值, 则它们所对应的特征向量线性无关.

特征值与矩阵

设 为 矩阵 的特征值, 则 为 的特征值.
若矩阵 满足 , 且矩阵 有两个特征值, 求矩阵的特征值.
矩阵 的特征值 满足多项式 ,

矩阵的迹

设有 N 阶矩阵A，那么矩阵 的迹（用 表示）就等于 的特征值的总和，也即矩阵A的主对角线元素的总和。
  1. 迹是所有主对角元素的和
  1. 迹是所有特征值的和
  1. 某些时候也利用来求迹
 

奇异值分解

  • 定义 假设 是一个 的矩阵, 其中的元素全部都属于域 , 也就是实数域和复数域. 如此则存在一个分解使得
      • 其中 是 阶的酉矩阵, 是 阶非负实数对角矩阵；而 ，即 的共轭转置，是 阶酉矩阵。这样的分解就称作 的奇异值分解。 对角线上的元素 即为 的奇异值。
      常见的做法是将奇异值由大而小排列。如此 便能由 唯一确定了。（虽然 和 仍然不能确定。）
      在这里不是值 的伴随矩阵, 而是共轭转置. . 或者 .
 

行列式

行列式的值

  1. 设 是 阶方阵, 则
      2. 为将序列 的元素进行两两交换, 得到 所需要的交换次数.
  1. 设 是 阶方阵, 则
      2. 若 是 阶矩阵 的所有特征值, 是一个一元多项式,则 是 的所有特征值,所以
      例题

行列式的性质

性质
  1. 性质1
  1. 性质2
  1. 性质3
      2. 行列式中有两行（列）的元素对应成比例，则此行列式为零.
  1. 性质4
      2. 行列式的第 行(或列)乘以 , 记为 (或 ).
  1. 性质5
  1. 性质6
  1. 性质7
  1. 性质8
  1. 性质9
  1. 性质10

余子式与代数余子式

设矩阵 , 则其余子式
代数余子式
常见考点
 

求解方程组

解的情况

 

克拉默法则(唯一解情况)

若线性方程组
的稀疏行列式 , 则方程组有唯一解:
其中

无穷解情况

若方程组为
则
令
则

解的结构(非齐次方程通解 = 非齐次方程特解+对应齐次方程的通解)

  1. 设 为任意实数.
  1. 都是 的解, 则 是 的解
 

例题

讨论 取何值时, 有解, 求其解.
  • 若方程有唯一解,
      • 使用克拉默法则,
  • 继续化简
  • 当 时, , 无解
  • 当 时,
      • 当 时无解
      当 时无穷多解
       
 
 
求齐次线性方程组
设四元非齐次线性方程组的系数矩阵的秩为 , 是它的三个解向量, 且 , 求该方程组的通解.

向量组的线性相关性

零空间

的零空间由所有满足方程 的解 构成,。

向量组

  • 向量组 能被向量组 线性表示的充分必要条件是

最大无关组

  • 设有向量组 , 若 , 向量组 中任意 个向量都线性相关, 则称向量组 是向量组 的一个最大线性无关组(最大无关组) , 称为向量组 的秩, 记为 . 规定只含零向量的向量组的秩为
 

例题

设 求矩阵 的秩和 的列向量组的一个最大无关组.并把不属于最大无关组的列向量用最大无关组线性表示.
 
 

二次型

我们把 称为二次型
  • 对于任意一个二次型 总有存在正交变换 使 化为标准型
 

二次型的正负定

对 元实二次型
  1. 如果对任何非零列向量 , 都有 , 则正定(特征值全正)
  1. 如果对于任何非零列向量 , 都有 , 则负定(特征值全负)
实对称矩阵
 
  1. 二次型 为正定的充要条件是,矩阵 的各阶主子行列式均为正,即
  1. 二次型 为负定的充要条件是, 的各阶主子行列式满足
  1. 二次型 为半正定(非负定)的充要条件是,矩阵 的各阶主子行列式为
  1. 二次型 为半负定(非正定)的充要条件是,矩阵 的各阶主子行列式为

线性空间

  • 核 为线性方程组 的解空间
 
 

拉格朗日乘数法

例
 

© Lazurite 2021 - 2024