普通最小二乘估计中要使得残差平方和最小，为什么要待定系数取极值？

普通最小二乘法最早由德国数学家高斯（CF Gauss）提出并使用。 在某些假设下普通最小二乘准则是，最小二乘估计器具有非常好的统计特性，使其成为回归分析中最强大和最流行的方法之一。

对于给定的n对观测值Y和X，我们希望样本回归模型的估计值yi^尽可能接近观测值Yi。为了达到这个目的，我们必须使用最小二乘准则以便

尽可能小。 其中e_{i}^{2}是残差的平方，也可以看作是由β1和β2确定的方程。

换句话说，残差平方和是估计器β1和β2的函数。 对于任何给定的一组数据（样本），选择不同的 β1 和 β2 值将导致不同的 ei，从而产生不同的 Σe_{i }^{2} 值。 微积分的知识告诉我们，当数值Σe_{i}^{2}对于β1和β2的偏导数为0时，Σe_{i}^{2}将会最小化。所以问题也变了to - 给定 n 对 Y 和 的样本观测值之后

制作

得到以下方程：

其中 n 是样本大小。求解这个联立方程，我们得到

分别是 X 和 Y 的样本均值。

上面获得的估计量 β1^ 和 β2^ 是根据最小二乘原理计算的。 因此，被称为最小二乘估计器，这也是最小二乘法名称的由来，又称最小二乘法（LS）。