估计理论

估计理论统计学信号处理中的一个分支,主要是通过测量或经验数据来估计概率分布参数的数值。这些参数描述了实质情况或实际对象,它们能够回答估计函数提出的问题。

例如,估计投票人总体中,给特定候选人投票的人的比例。这个比例是一个不可观测的参数,因为投票人总体很大;估计值建立在投票者的一个小的随机采样上。

又如,雷达的目的是物体(飞机、船等)的定位。这种定位是通过分析收到的回声(回波)来实现的,定位提出的问题是“飞机在哪里?”为了回答这个问题,必须估计飞机到雷达之间的距离。如果雷达的绝对位置是已知的,那么飞机的绝对位置也是可以确定的。

在估计理论中,通常假定信息隐藏在包含噪声信号中。噪声增加了不确定性,如果没有不确定性,那么也就没有必要估计了。

使用估计理论的领域

有非常多的领域使用参数估计理论。这些领域包括(当然不局限于以下列出的领域):

测量参数包含噪声或者其他不确定性。通过统计概率,可以求得最优化的解,用来从数据中提取尽可能多的信息

估计过程

估计理论的全部目的都是获取一个估计函数,最好是一个可以实现的估计函数。估计函数输入测量数据,输出相应参数的估计。

我们通常希望估计函数能最优,一个最优的估计意味着所有的信息都被提取出来了;如果还有信息没有提取出来,那就意味着它不是最优的。

一般来说,求估计函数需要三步:

  • 为了实现一个预测单个或者多个参数的所期望的估计器,首先需要确定系统的模型。这个模型需要将需要建模的过程以及不确定性和和噪声融合到一起,这个模型将描述参数应用领域的物理场景。
  • 在确定模型之后,需要确定估计器的限制条件。这些限制条件可以通过如Cramér-Rao不等式这样的方法找到。
  • 下一步,需要开发一个估计器或者应用一个已知的对于模型有效的估计器。这个估计器需要根据限制条件进行测试以确定它是否是最优估计器,如果是的话,它就是最好的估计器。
  • 最后,在估计器上运行试验或者仿真以测试性能。

当实现一个估计器之后,实际的数据有可能证明推导出估计器的模型是不正确的,这样的话就需要重复上面的过程重新寻找估计器。不能实现的估计器需要抛弃,然后开始一个新的过程。总的来说,估计器根据实际测量的数据预测物理模型的参数。

基础

对于给定模型,估计器需要若干统计 "成分"才能实现。第一,统计样本从长度为 N 的随机向量英语Multivariate_random_variable(Random Variable,RV)中采样获得,观测值构成向量:

 

第二,有 M 个参数:

 

它们的值需要被估计。第三,用于生成连续数据的概率密度函数(Probability density function,PDF)或离散数据的概率质量函数(Probability mass function,PMF)以参数值为条件(这些概率函数潜在存在),即条件概率为:

 

参数自身可能也存在概率分布(如贝叶斯统计),此时就需要定义贝叶斯概率

 

模型形成后,目标是估计参数,估计的参数通常表示为  ,其中   表示估计值。

常用的估计器包括最小均方误差(Minimum mean squared error,MMSE)估计器,它利用了估计参数和参数实际值之间的误差:

 

作为优化的基础。该误差项平方的期望对MMSE估计器来说是最小的。

估计函数(估计子)

以下是一些相关的估计函数以及相关的主题

例子:高斯白噪声中的直流增益

考虑由 独立采样点构成的离散信号 ,它由常数 和零均值方差 加性高斯白噪声 (即 )构成。方差已知,未知参数为 

信号的模型为:

 

参数 的两个可能的估计器是:

  •  
  •  ,即采样平均(Sample mean)

通过计算两个估计器的期望可以发现,它们的均值均为 

 

 

两个估计器的均值没有差异,然而它们的方差不同:

 

 

 时, ,所以似乎采样平均 是一个更好的估计器。

最大似然估计

使用最大似然估计继续上面的例子,噪声在采样点 上的概率密度函数(pdf)为:

 

此时 的概率为( 服从分布 ):

 

由于相互独立, 的概率为:

 

对上式取自然对数

 

于是最大似然估计器为:

 

计算对数-最大似然函数的一阶导数

 

令其为0:

 

得到最大似然估计器:

 

它是一个简单的采样平均。从这个例子中可以发现,被独立同分布的加性高斯白噪声污染的、由未知常数构成的 点信号的最大似然估计其就是采样平均。

Cramér-Rao下限

为了找到采样平均估计器的Cramér-Rao下限(CRLB),需要找到Fisher information数

 

从上面得到

 

取二阶导数

 

发现负的期望值是无关紧要的(trivial),因为它现在是一个确定的常数

 

最后,将Fisher information代入

 

得到

 

将这个值与前面确定的采样平均的变化比较显示对于所有的  来说采样平均都是等于Cramér-Rao下限。

采样平均除了是最大似然估计器之外还是最小变化无偏估计器(MVUE)。

这个直流增益 + WGN的例子是Kay的统计信号处理基础中一个例子的再现。

相关书籍

参见