向量与线性组合
二维向量 由两个数字构成，线性代数中通常写为一列：
数字 、 为向量 的分量（component)。向量加法表示对应分量相加，例如
标量乘法例如
线性代数的核心思想体现于向量运算。对于向量 和 ，其分别与标量 和 相乘的结果之和构成一个线性组合（linear combination）。四种特殊的线性组合包括和向量 、差向量 、零向量 和与 共线向量 。特别地，零向量总是可写为系数均为 的任意线性组合。线性代数的主要任务就是考察向量的线性组合及其性质。
将列向量写成行的形式，如 ，通常是排版需要。这种形式的向量仍是列向量，只是被暂时横置，而与行向量 完全不同。
考虑三维向量
其在三维 空间中以箭头表示，则通常设起点为 ，对应终点为 。列向量与空间中箭头的表示方法相互照应。应用向量运算法则时，向量加法 可视为向量 始于 的终点。
设 为三维空间非零向量， 可取任意值便于分析全体线性组合。对于单个向量 ，其线性组合仅能为 ，由于 的取值任意，其全体线性组合为一条过原点 的直线。以此推广，形如 的全体线性组合是过原点的平面，形如 的全体线性组合是整个三维实数空间 。
例如， 和 的全体线性组合 构成 上的一个平面，即对任意的 和 ，该线性组合位于该平面上，而其第二分量一定是另外两个分量之和，例如原点 显然在平面上。据此易判断任意向量是否位于该平面——是否满足上述条件。
向量 与 的点积（dot product）记为 ，定义为数
点积结果与运算顺序无关：
点积可应用于实际场景。例如，考虑买卖三类商品的问题，商品单价记于「价格向量」 中的三个分量，；其买卖数量记为 ，则收入显然为三维向量的点积 。点积为零时收支平衡。
向量与自身的点积即为长度的平方：
我们据此定义 维向量 的长度等于其自身点积的算数平方根：
单位向量表示长度为 的向量。若 的长度为 ，即 ，则 为单位向量。例如，四维向量 是单位向量，因为 。同理，设 ，则 也是单位向量。设 与 轴夹角为 ，则 。设 ， 为任意非零向量，则 是与 同向的单位向量。
点积运算的两向量 、 垂直时，考虑其几何意义，视其始于同一点并构成直角三角形的两条直角边，则第三边长度为 。故由毕达哥拉斯定理，
即
整理可得
即，向量点积为零表示其互相垂直。例如，标准单位向量 与 的点积 。
考虑单位向量 、，记其夹角为 ，与 轴夹角分别为 、，可得 。其点积 ，即
说明单位向量点积的结果为夹角的余弦。与 垂直的向量构成与其点积正负值的分界线，点积的符号反映夹角与 的关系。据此，通过向量点积即可求得其夹角：对于非零向量 、，使其除以自身长度可得单位向量 ，，上述单位向量的点积便是原向量的夹角的余弦值，即
显然，上述单位向量的点积结果（及其绝对值）小于 ，表达为点积形式的施瓦茨不等式（柯西不等式）：
等式成立，即 的前提为向量为另一向量的倍数，即 ，此时向量夹角为 或 ，。
设向量 ，，则由施瓦茨不等式有 。将此式以 ， 改写，则得到几何平均数 不大于算术平均数 的结论：
矩阵（matrices）
考虑以下三维空间中的线性组合：
上述组合可以矩阵（matrix）改写。将组合中的各个列向量分别作为矩阵 的列，再使之「左乘」向量 ，有
可见，、、 被改写为列向量 的三个分量。矩阵 作用于（acts on）向量 ，所得结果 是矩阵 所有列向量的线性组合，记为 ：
矩阵提供了视角上的变化。 是矩阵 列向量组的一个线性组合，其分量为 的各行与 的点积。现在我们将 视作输入，输出为 。特别地，上述矩阵 称为「差分矩阵」（difference matrix）。例如，设 ，即给出完全平方数分量，则作用后 的分量为奇数，。
计算矩阵左乘向量 的另一种视角是使用行向量：分别将矩阵的每一行与 点积，其结果与上述方法一致。而事实上，线性组合方为线性代数的关键概念，而 是矩阵 的列向量组的线性组合。
线性方程组
若改变视角，较之利用矩阵左乘向量 建立结果向量 ，假设 已知，则需找到使等式成立的未知向量 ，换言之，找到能生成特定向量 的线性组合。问题在于求解以 的分量为未知数的线性方程组，其中各方程的右侧为 的分量。例如，对于上述矩阵 ，有
事实上，多数线性方程组难以求解，而上述矩阵 各方程能自上而下依次求解，是一个下三角形矩阵（triangular matrix）。由于对于矩阵 ，能从 反推得到 ，并记 ，称矩阵 可逆（invertible）。 为 的逆矩阵（inverse matrix）。根据上述求解过程，有
可见，对每一个向量 ，线性方程组 存在一个解。若 的分量之差构成 ，则对 的分量累加就能得到 。差分矩阵 的逆矩阵 为累加矩阵（sum matrix）。例如，向量 的差分是 ， 且 ，即
循环差分
考虑循环差分（cyclic difference）矩阵 ：
矩阵 并非三角形矩阵，因而对于给定 难以求解 ，是不可逆矩阵。事实上， 不存在唯一解，而通常无解，或少数情况下有无穷多解。例如， 的解是所有形如 的向量——常数向量，其循环差分得到 。又如， 显然无解，因为线性组合各分量之和线性组合 的分量相加始终为 ，故不能生成向量 ，更不能生成整个三维空间，方程组有解的条件是 。换言之， 的全体线性组合都在 所确定的向量 所在的平面上。
线性相关
上述内容揭示了代数与几何间的联系。向量组的线性组合可以生成整个空间，抑或仅生成一个平面。考虑先前的差分矩阵 和 循环差分矩阵 的列向量，其差异仅在于第三列，而共享前两个向量，记为 。 和 的全体线性组合便能生成一整个二维平面。因此，关键便在于有差异的第三个向量，记矩阵 中的为 ，矩阵 中的为 。事实上， 是 与 的一个线性组合：
当然，更改所移动的项，上述结论也有不同表示。总之，可以说， 在已知的生成平面内，且我们已知，该平面便是 和 的全体线性组合所能生成的平面，也是满足 的线性组合 所能生成的平面，因为 和 的分量和均为 。故 不能作为新向量被引入。而 显然不在上述平面内，故 的全体线性组合生成整个三维空间。
基于以上事实可分析出有关零向量 生成的线性相关性的初步结论：对于 维空间中 矩阵的列向量组，若
- 的列向量组线性无关（独立，independent），则 有唯一解 ， 是可逆矩阵。例如，上例中，除 外，没有线性组合能生成 。即，零向量 的生成仅能通过系数均为 （都不参与）来实现，列向量组中不存在冗余。
- 的列向量组线性相关（dependent），则 有无穷多解， 是奇异矩阵。即系数非零时方程成立，说明列向量组中存在冗余，而不完全独立。
补充
根据矩阵左乘向量定义，若 ，即其各列向量 的线性组合 ，则矩阵 的各行向量 也都满足 ，即
故各行向量 也在同一平面，该平面垂直于 。
考虑矩阵
若其行向量存在倍数关系 ，易证明列向量也存在倍数关系，即 ，列向量在一条直线上。换言之，若 的行向量组线性相关，其列向量组也线性相关。
单位矩阵 左乘任何向量都不会使其改变：