极大似然估计法及Stata命令 |
非线性回归模型
最大似然估计法MLE
前提:扰动项正态分布
检验
画图
画残差直方图,与正态分布密度函数比较
Stata : .hist <变量名>,normal
核密度图与正态分布比较
Stata: .kdensity <变量名>,normal lpattern("-")
散点图QQ plot:正态分布的分位数-残差分位数
Stata: .qnorm <变量名>
统计检验
雅克-贝拉检验
变量
偏度
峰度
超额峰度
残差
偏度样本估计值
超额峰度样本估计值
统计量
Stata
显示偏度和峰度
.su <>,detail
计算JB统计量
.di (r(N)/6)*((r(skewness)^2)+[(1/4)*(r(kurtosis)-3)^2])
计算JB对应的p值
.di chi2tail(2,<JB值>)
D'Agostino检验
Stata: .sktest <>
非参数Shapiro-Wilk检验
Stata: .swilk <>
非参数Shapiro-Francia检验
Stata: .sfrancia <>
变正态分布
取对数
Stata: .gen ln<>=log<>
基本思想:参数 取何值时,取到该样本的可能性最大
数学操作:似然函数 L( θ,y)为概率密度函数的乘积,通常取对数,对 θ 一阶导为零
一阶条件
=0
性质
似然函数正确,得分函数期望为零即
分解:
二阶条件
对数似然函数黑塞矩阵 为负定矩阵 严格凹函数
黑塞矩阵分解
第i个观测值对黑塞矩阵的贡献
估计
估计步骤
用假想值 代替真实值
第一步:选择 使得 最大
第二步:代入 ,选择最优
结论
对回归系数的估计与OLS完全一样
对扰动方差 估计与OLS不同,在大样本下相同
估计量 小样本下有偏
数值解
为一维
网格搜索
θ 为多维
迭代法
高斯-牛顿法
牛顿-拉弗森法
研究MLE的大样本性质
定义信息矩阵
对数似然函数的黑塞矩阵期望值的负数,
对数似然函数在 空间的平均曲率
包含 是否容易估计的信息
二阶偏导不易计算,表达为一阶偏导乘积形式
信息矩阵等式
得分函数的方差为信息矩阵
处,
无偏估计的最小方差
克莱默-劳下限
在一定的正则条件下,对于真实参数 的渐进正态一致估计所能达到的最小方差为
高斯马尔可夫定理+扰动项正态分布假定 OLS为BUE
MLE不一定是无偏估计
大样本性质
前提:满足一定的正则条件
一致性
渐近有效性
渐近协方差矩阵 在大样本下达到了克莱默-劳下限
渐近正态
,可近似认为
不变性
将参数 变换为 ,则 的最大似然估计就是
可以是多维函数
与 不必有一一对应的函数关系
渐进协方差矩阵
渐近协方差矩阵
估计
似然函数正确
期望值法
知道黑塞矩阵具体形式,则直接以 代替 即可得
观测信息矩阵法
以 替代 后,直接忽略期望算子
梯度向量外积法(BHHH法)
利用信息矩阵等式,用 估计 ,其中
只需计算一阶偏导数,该协方差估计量总是负定的
准最大似然估计法QMLE
随机变量不服从正态分布,但仍使用最大似然估计
一致估计量的条件
概率密度函数属于线性指数分布族
概率密度函数形式为
条件期望 的函数形式设定正确
大多不一致
胡贝尔-怀特稳健标准误
=异方差稳健标准误
样本数据为iid(独立同分布)
不确定模型是否设定正确,但QMLE仍为一致估计量
Stata 选择项“r”或“vce(robust)”
聚类标准误
样本数据分为若干组,且同一组内观测值存在自相关
Stata 自由选择项 “vce (cluster clustvar)”
三类渐进等价的统计检验
检验原假设:
Wald检验
的无约束估计量 与 的距离
, 为约束条件个数
似然比检验LR
无约束的似然函数最大值 比有约束的似然函数最大值 更大
若 正确,则 不应该很大
统计量
Stata lrtest命令
拉格朗日乘子检验
有约束条件的对数似然函数最大化问题:
统计量
三类检验大样本下渐近等价
正态分布+线性假设 W
Wald检验使用最广,但不具有不变性
无约束估计方便,使用Wald
有约束估计方便,使用LM
非线性最小二乘法NLS