关键词：

矩法估计；极大似然估计；置信区间；置信水平（置信度）；枢轴量

两个正态总体方差不等未知的均值差区间估计、非正态总体参数区间估计 不考。

可以参考:Jiepeng’s notes(Chapter 7 参数估计)

目录

• 标准正态分布原函数计算概率
• 正态分布随机变量平方的期望
• 方差公式利用

• 参数的点估计
  • 矩估计法
  • 极大似然估计法
• TBC：此处跳过几道例题
• 估计量的评选准则
  • 无偏性准则
  • 有效性准则
  • 均方误差准则
  • 相合性准则
• 区间估计
  • 置信区间的定义
  • 枢轴量法
• 正态总体参数的区间估计
  • 一、单个正态总体情形
  • 1. 均值$\mu$的置信区间
  • 2.方差$\sigma^2$的置信区间（设$\mu$未知）
  • 两正态总体情形
    • 1. $\mu_1 - \mu_2$的置信区间
    • 2. ${\sigma_1^2\over \sigma_2^2}$ 的置信区间（设$\mu_1,\mu_2$未知）
• 非正态总体参数的区间估计
  • 0-1分布参数的区间估计
  • 其他总体均值的区间估计

标准正态分布原函数计算概率#

已知$X\sim N(\mu,\sigma^2),$则$P(X\ge x) = 1 - \Phi({x - \mu \over \sigma})$ 且$P(X\le x) = \Phi({x - \mu \over \sigma})$ 推导：$P(X\le x) = F(x) = \Phi({x - \mu \over \sigma})$

1. 正态分布的密度函数是：

累积分布函数 $F(x)$ 的定义为：

将密度函数 $f(t)$ 代入：

2. 标准正态分布的密度函数为：

累积分布函数为：

将 $X$ 转化为标准正态分布：

3. 换元，令：

则

正态分布随机变量平方的期望#

已知$X\sim N(\mu,\sigma^2),$则$E(X^2) = \mu^2 + \sigma^2$

方差公式利用#

$D(X) = E(X^2) - (E(X))^2,E(X^2) = D(X) + (E(X))^2.$

$D(X) = \sigma^2 = \mu_2 - \mu_1^2$

$B_2 = A_2 - \bar{X}^2$

参数的点估计#

常见的点估计方法：

1. 矩估计法（矩法）
2. 极大似然法

矩估计法#

• k有多大取决于参数个数
• 样本一阶（原点）矩：$A_1 = \bar{X}$，二阶中心矩：$B_2 = {1\over n}\sum_{i=1}^n (X_i - \bar{X})^2$
  • $B_2 = {n-1\over n}S^2$
  • 中心矩和原点矩的区分见第六章
• 总体一阶矩：$\mu_1 = E(X)$，二阶矩：$\mu_2 = E(X^2)$ (均以原点矩计，下同)
  • $0$阶矩：$\mu_0 = 1$
  • $k$阶矩：$\mu_k = E(X^k)$

极大似然估计法#

• 因为似然函数是乘积，所以经常用[说明]第二点中的取对数方法，化积为和。这时候求使${\partial \ln{L(\theta)}\over \partial \theta} = 0,\ln{L(\theta)}$最大的$\theta$，相当于求使${\partial L(\theta) \over \partial \theta} = 0,L(\theta)$最大的$\theta$。
• 所求$\theta$用$x_i$表示的函数值，最终要用$X_i$替换$x_i$。（$X_i$是样本值）

例题：

注意一种特殊情况：${\partial \ln{L(\theta)}\over \partial \theta}$取不到0，也就是经过分析，${\partial \ln{L(\theta)}\over \partial \theta}$会随$\theta$的某一分量单增或单减，此时可以按（1）中的做法来求

第二题，$E(X)$的极大似然估计(量)就用a,b的极大似然估计值代入求。

与上一题（1）类似，还有一种不能求极大似然估计的情况：

第（2）问：不能通过求偏导数获得$\mu$的极大似然估计量，因此可以利用题干中的其他条件，尽可能限制参数$\mu$的范围。

TBC：此处跳过几道例题#

估计量的评选准则#

四条评价准则：

1. 无偏性准则
2. 有效性准则
3. 均方误差准则
4. 相合性准则

无偏性准则#

• 定义：参数$\theta$的估计量$\hat{\theta} = \hat{\theta}(X_1,X_2,...,X_n)$，满足$E(\hat{\theta}) = \theta$则称为$\theta$的无偏估计量
  • 若$E(\hat{\theta})\ne \theta$，则$\lvert{E(\hat{\theta}) - \theta}\rvert$称为估计量$\hat{\theta}$的偏差
  • 若$\lim \limits_{n \to +\infty} E(\hat{\theta}) = \theta$，则为渐进无偏估计量

有效性准则#

• 定义：$\hat{\theta}_1,\hat{\theta}_2$是无偏估计，若$D(\hat{\theta}_1)\le D(\hat{\theta}_2)，$对一切$\theta\in \Theta$都成立，且能取到等号，则称$\hat{\theta}_1比\hat{\theta}_2有效。$

均方误差准则#

• 定义：设$\hat{\theta}$是参数$\theta$的点估计，方差存在，则$E(\hat{\theta} - \theta)^2$称为估计量的均方误差，记为$Mse(\hat{\theta}).$
• 若$\hat{\theta}$是$\theta$的无偏估计，则$Mse(\hat{\theta}) = D(\hat{\theta})$

相合性准则#

• 定义：$\forall \theta, \lim \limits_{n\to +\infty}P\{\lvert \hat{\theta}_n - \theta \rvert \ge \epsilon\} = 0$ （即$\hat{\theta}_n$依概率收敛于$\theta$），称$\hat{\theta}_n$为$\theta$的 相合估计量 或 一致估计量
• 例题，可作结论：
• 
• 
• （3）的解释：因为$A_2$依概率收敛于$\mu_2$，$\bar{X}$依概率收敛于$\mu_1$，因此可知$B_2$也依概率收敛于$\sigma^2$

区间估计#

置信区间的定义#

1. 双侧置信
2. 单侧置信
3. 单双侧置信区间的关系
4. 其他概念：精确度，误差限，Neyman（内曼）原则

枢轴量法#

• 注意：分布完全已知的随机量才能作为枢轴量

正态总体参数的区间估计#

一、单个正态总体情形#

1. 均值μ的置信区间#

1. $\sigma^2$已知，置信区间为：$(\bar{X} - {\sigma\over \sqrt{n}}z_{\alpha /2},\bar{X} + {\sigma\over \sqrt{n}}z_{\alpha /2})$

• 推论：均值$\mu$的置信度$1-\alpha$的置信下限是$\bar{X} - {\sigma \over \sqrt{n}}z_\alpha$

2. $\sigma^2$未知：则置信区间为： $(\bar{X} - {S\over \sqrt{n}}t_{\alpha /2}(n-1),\bar{X} + {S\over \sqrt{n}}t_{\alpha /2}(n-1))$

2.方差σ2的置信区间（设μ未知）#

置信区间为$({(n-1)S^2\over\chi^2_{\alpha/2}(n-1)},{(n-1)S^2\over\chi^2_{1-\alpha/2}(n-1)})$ 上述所求的区间估计不是最优解。

方差$\sigma^2$的置信度$1-\alpha$的置信度上限为：${(n-1)S^2\over\chi^2_{1-\alpha}(n-1)}$

两正态总体情形#

1. μ1-μ2的置信区间#

1. $\sigma_1^2,\sigma_2^2$已知： 置信区间为：$((\bar{X} - \bar{Y})\pm z_{\alpha \over 2}\sqrt{{{\sigma_1^2\over n_1} + {\sigma_2^2\over n_2 } }})$
2. $\sigma_1^2 = \sigma_2^2 = \sigma^2$，其中$\sigma^2$未知 置信区间为：$((\bar{X}-\bar{Y})\pm t_{\alpha\over2}(n_1+n_2 -2)S_w\sqrt{{q\over n_1}+{1\over n_2}})$
3. $\sigma_1^2 \ne \sigma_2^2$且未知
   1. 若样本量$n_1,n_2$都足够大（>50)： 置信区间为：$((\bar{X} - \bar{Y})\pm z_{\alpha \over 2}\sqrt{{{S_1^2\over n_1} + {S_2^2\over n_2 } }})$
   2. 若样本量较小：$((\bar{X} - \bar{Y})\pm t_{\alpha \over 2}(k)\sqrt{{{S_1^2\over n_1} + {S_2^2\over n_2 } }})$

2. σ1^2/σ2^2 的置信区间（设μ1，μ2未知）#

$({S_1^2\over S_2^2}{1\over F_{\alpha \over2}(n_1-1,n_2-1)},{S_1^2\over S_2^2}{1\over F_{1-{\alpha \over2}}(n_1-1,n_2-1)})$

• 小结论：若所求${\sigma_1^2\over \sigma_2^2}$的置信区间包含1，可以认为两个总体的方差之间没有显著差异。

非正态总体参数的区间估计#

0-1分布参数的区间估计#

其他总体均值的区间估计#

当 充分大（一般 > 50 ）时: