最小二乘法及其公式

最小二乘法是一种广泛应用于数据拟合和参数估计的经典数学方法。它的核心思想是通过寻找一条曲线或直线，使得实际观测值与模型预测值之间的误差平方和达到最小。这种方法在统计学、工程学以及经济学等领域具有重要的应用价值。

假设我们有一组数据点 \((x_1, y_1), (x_2, y_2), ..., (x_n, y_n)\)，希望用一个函数 \(y = f(x)\) 来描述这些数据之间的关系。如果选择线性模型 \(f(x) = ax + b\)（即一次函数），最小二乘法的目标就是找到最佳的系数 \(a\) 和 \(b\)，使得误差平方和：

\[

S(a, b) = \sum_{i=1}^n [y_i - (ax_i + b)]^2

\]

达到最小值。

为了求解最优的 \(a\) 和 \(b\)，我们需要对 \(S(a, b)\) 分别关于 \(a\) 和 \(b\) 求偏导数，并令其等于零，得到以下两个方程：

\[

\frac{\partial S}{\partial a} = -2 \sum_{i=1}^n x_i[y_i - (ax_i + b)] = 0

\]

\[

\frac{\partial S}{\partial b} = -2 \sum_{i=1}^n [y_i - (ax_i + b)] = 0

\]

化简后可得标准的一次函数最小二乘法公式：

\[

a = \frac{n\sum x_iy_i - \sum x_i \sum y_i}{n\sum x_i^2 - (\sum x_i)^2}

\]

\[

b = \frac{\sum y_i - a \sum x_i}{n}

\]

这两个公式提供了计算线性回归中斜率 \(a\) 和截距 \(b\) 的具体步骤。此外，当模型不是线性的时，可以采用非线性最小二乘法，利用迭代优化算法逐步逼近最优解。

总之，最小二乘法以其简洁性和有效性成为解决实际问题的重要工具。无论是处理简单的线性关系还是复杂的非线性系统，它都能提供可靠的数据分析支持。