机器学习是一门以数据及其模型为研究对象的学科，优化模型、分析模型都需要数学手段的帮助；数学可以帮我们更清晰的描述和研究机器学习算法。

1.1 向量

向量是指具有大小和方向的量，只有大小没有方向的叫标量，有列向量和行向量，默认写法为列向量：

$$\vec{x} = \begin{pmatrix}x_1 \\x_2 \\ \cdots \\x_n \end{pmatrix}$$

横排是行向量：$\vec{x} = \begin{pmatrix} x_1,&x_2,&\cdots,& x_n\end{pmatrix}$，但是实际过程中，为了节省空间，我们通常将列向量写为$\vec{x} = \begin{pmatrix} x_1,&x_2,&\cdots,& x_n\end{pmatrix}^T$，转置一下即可。

关于向量的含义，可以将其看成$n$维空间的一个点，每一维的值都代表坐标，也可以将其看为从原点指向该坐标点的有向线段，具有长度和方向。因此，全体$n$维向量构成的空间和$\mathbb{R}^n$是等价的。在没有额外说明的情况下，对于向量$x\in\mathbb{R}^n$。

向量的运算：

• 向量相加：$\vec{x}+\vec{y} = (x_1+y_1,x_2+y_2,\cdots, x_n+y_n)^T$。
• 向量与标量相乘：$a\vec{x} = \vec{x}a = (ax_1,ax_2,\cdots,ax_n)^T$。当$a = 0$或$\vec{x} = 0$时，结构为$\vec{0}$.