1.限制模型下的最小二乘估计
1.1限制模型下最小二乘估计的定义
对于线性回归模型      ,                              （1）
 , ,
其中 为 观测向量， 为 的设计矩阵， 为 的未知参数向量, 是随机误差向量，∑是 的正定矩阵.
线性约束条件             .                              （2）
已知一组样本观测值 ，普通最小二乘要求样本回归函数尽可能好的拟合这组值，即样本回归线上的点 的“总体误差”尽可能的小.普通最小二乘法给出的判断标准是：被解释变量的估计值与实际观测值之差的平方和    最小.
其中 是一个相容性方程组，其中 为 的已知矩阵，且秩为 ， 为 已知向量.
定义2.1.1   满足线性约束条件（2）的线性回归方程（1）的最小二乘估计就是限制模型下的最小二乘估计.
1.2  给出限制模型下的最小二乘估计
记Z   ,U   ,    ,则得到的线性回归模型为：
 , ， .
类似于文献[2]第41页和第55页的推导过程，在满足 的条件下求 ，使 达到最小，为了应用Lagrange乘数法，构造辅助函数：
  其中 = 为Lagrange乘子.
对函数 求对 的偏导数，整理并令它们等于零，得到：
 ,                              （3）
然后解（3）和约束条件（2）组成的联立方程组.
为了方便，我们用 和 表示（2）和（3）的解.
用 左乘（3），整理后得：
    Z- 
 -   ,                          (4)
代入（2）得
  -   ,
等价地
这是一个有关 的线性方程组，由于 的秩为 ，于是  是 阶可逆矩阵.
故（5）有唯一解
   ,
将代 入（4）得
   -   ,
其中
   ,
所以
   -   .
 为无约束条件下 的最小二乘估计.
现在证明 确实是线性约束 下β的最小二乘估计，为此我们只需证明如下两点：
1. .
2.对一切满足 的β都有 ≥ .
验证过程：
（1）   -       -  ,
即此结论成立成立.
（2）为了证明2，我们将平方和 作分解：
 满足正则方程 =0，则（6）式第三项等于零. 限制模型下最小二乘估计的稳性(2):http://www.751com.cn/shuxue/lunwen_40405.html