似然比检验-dreamjdn-ChinaUnix博客

来自 : blog.chinaunix.net/uid-2069236 发布时间：2021-03-26

在有噪声的通信和控制系统中接收端对收到的受干扰的信号用统计推断理论来判断信号的存在和估计信号的参数。在接收端对收到的受干扰的信号时利用信号概率和噪声功率等信息按照一定的准则判定信号的存在，称为信号检测。在接收端利用收到的受干扰的发送信号序列尽可能精确地估计该发送信号的某些参数值（如振幅、频率、相位、时延和波形等），称为信号估计或参数估计。
发展概况 1942年提出最优平滑滤波器和预测滤波器，建立维纳滤波理论，为信号检测和估计奠定了理论基础。维纳的这项研究成果，直到1949年才正式公布。由于需要的存储量和计算量极大，很难进行实时处理，因而限制了它的应用和发展。1943年D.O.诺思提出最大输出信噪比的匹配滤波器理论。1946年苏联学者 B.A.科捷利尼科夫提出潜在抗干扰理论，以最大后验概率为准则构造理想接收机，再将实际接收机与理想接收机进行比较，找出可挖掘的潜力。1950年 P.M.伍德沃德将信息量的概念用于雷达信号检测，提出一系列综合最优雷达系统的新概念。
1953年D.米德尔登和W.W.彼得森等人将统计假设检验和统计推断理论等数理统计方法用于信号检测，建立统计检测理论。1960～1961年和R..布什提出递推滤波器。将状态变量法引入滤波理论。不要求保存过去的测量数据，当新的数据测得之后，根据新的数据和前一时刻诸量的估值，借助于系统本身的状态转移方程，按照递推公式，即可算出新的诸量的估值。这就大大减小了滤波器的存储器和计算量，突破了平稳随机过程的约束，便于实时处理。1965年以来信号估计广泛采用自适应滤波器。它在数字通信、语言处理和消除周期性干扰等方面，已取得良好的效果。
信号检测 由于许多实际的通信和控制问题都具有二元的性质，可把收到的信号划分为1或0，所以信号检测问题主要就是根据收到的信号在两个假设之中选择其中一个假设的问题。为了形成最优推断程序，应假定每个正确的或错误的推断代表接收端观察者的得益或损失，称为损失函数,记作Cij。这里j是信号的实际值，i是信号的推断值,Cij表示信号的实际值是j而推断值为i时的得益或损失。常用的信号检测方法有参数检测法、非参数检测法、鲁棒检测法和自适应检测法等。①参数检测法：这种方法是根据噪声的概率分布和一些统计推断准则来设计最优检测器。图1是白噪声条件下最优检测器的原理图。图中hi(t)是与信号si匹配的滤波器的冲激响应,ξi是匹配滤波器的偏置,它与噪声的统计特性、信号的能量、发送信号的先验概率Pi和损失函数Cij有关。推断准则不同,仅偏置略有不同。最常用的统计推断准则有贝叶斯准则、反概率最大准则、最大似然比准则、最大最小准则和奈曼－皮尔逊准则。 ②非参数检测法：这种方法用于噪声的统计特性基本上未知的情况，只要求噪声分布函数为连续的一般性条件。它是一种比较保守的信号检测方法。③鲁棒检测法：它是上述两种方法的折衷。它假定噪声分布符合某种统计规律，但又不致使模型的约束条件过严。④自适应检测法：如果噪声是时变的非白色噪声，则需要对冲激响应hi(t)和偏置ξi进行自适应调整。自适应最优检测器可适应具有不同概率分布的时变噪声，但结构复杂，宜用大规模集成电路来实现。
信号估计 在通信和控制中常常需要利用受干扰的发送信号序列来尽可能精确地估计该发送信号的某些参量值（如幅度、相位、频率、时延、甚至波形）。信号估计问题主要是求最优估计算子，即设计一个能处理各种观察数据而产生最优估计的滤波器。滤波器的期望输出就是信号的估值，它可以是信号本身，也可以是信号的延迟或导前，这就是滤波、平滑和预测问题。通常把信号估计分为两大类，有条件的和无条件的。无条件估计算子不需要利用发送信号先验概率的知识，即认为先验概率密度分布是均匀的。条件估计算子则需要利用发送信号的概率密度分布的知识。评价信号估计的准则最常用的是均方误差最小准则。图2示出信号估值慗i(t)与最优滤波器输出x0(t) 的波形。如果均方误差最小,则最优滤波器输出的波形最接近于信号估值的波形。常用的信号估计方法有维纳滤波器、卡尔曼-布什滤波器、自适应滤波器、相关估计法和无偏估计法等。①维纳滤波器：维纳根据均方误差最小准则导出最优滤波器。维纳滤波器的输出即为信号估值。②卡尔曼-布什滤波器:如果对于受干扰的信号流x(t)第一次处理0～m个样本,第二次处理1～m＋1个样本，第三次处理2～m＋2 个样本,以此类推,并把每相邻两次处理的样本有机地联系起来，就可以利用存储容量有限的计算机处理延续时间很长的信号流。③自适应滤波器：有时变噪声时维纳滤波器就不是最优滤波器。此时可根据噪声的分布特性对加权矩阵进行自适应调节来改善滤波器的性能。自适应滤波器不仅适用于时域和频域,而且可以推广到空间滤波。④相关估计法,有平稳白噪声时匹配滤波器可输出最大信噪比，相当于时域相关器。如果只对信号的某一参数（如时延、相位或频率）进行估值，则可在接收机中设计一个与发送信号相同的本地信号，并使它对应于发送信号中要估计的参数是可知的。把收到的受干扰的信号与本地信号作相关处理,待相关器输出最大值,则本地信号的这一已知参数就是要估计的参数值。这种方法实现简单，虽对噪声的分布特性约束过严,但在远程防空雷达和深空通信中,允许对噪声的分布特性作出假设,因此应用十分广泛。相关估计法实质上是根据反概率最大准则来进行估计的。⑤无偏估计法：指产生的各个估计的平均值等于待估计的参数的真值,无偏估计法就是设计一个无偏估计算子。现代通信中的调制方法,火箭和导弹的制导,以及大多数工业控制问题，都涉及到非线性的消息模型，因而迫切需要解非线性滤波问题。非线性滤波可以从修正的富克－普朗克方程得到均值估计的精确表达式，但工程应用十分因难，只能采用近似方法。

大样本统计

研究样本大小n趋于无限时,和相应的统计方法的极限性质(又称渐近性质)，并据以构造具有特定极限性质的统计方法。例如,用均值估计均值θ，在n→时，以概率1收敛于θ(见),称为θ的强相合估计。的这个性质只有在n→时才有意义，这叫做大样本性质,而强相合性的研究属于大样本统计的范围。根据统计量的极限性质而得出的统计方法称为大样本方法。例如:设X1,X2,…,Xn是从正态总体N(μ,σ2)中抽出的样本，μ和σ未知，要作μ的。记样本方差为当依分布收敛于标准正态分布N（0,1）。基于这个性质可知, 当n较大时,可用作为μ的区间估计，其中是标准正态分布的上分位数（见）；这个估计的置信系数当n→时趋于指定的 1-α(0αn固定时统计方法的性质,小样本方法是指基于n固定时的统计量性质的统计方法。如上述第一例,当n固定时有E=θ,即为θ的无偏估计(见);的这个性质在n固定时有意义,所以是小样本性质。又如，英国统计学家W.S.戈塞特(又译哥色特，笔名“学生”)在1908年找到了的精确分布为自由度是n-1的t分布(见)。基于此事实,可知对任何固定的n,μ的区间估计具有确切的置信系数1-α。其中是自由度为n-1的t分布上分位数。这个性质对任何固定的n都成立。因而上述区间估计是小样本方法。总之，区分大、小样本性质（或方法）的关键在于样本大小n是趋于无限还是固定，而不在于n数值的大小。
小样本方法也称为“精确方法”，因为它往往是基于有关统计量的精确分布（如前例中的t分布）;与此相应，小样本方法的统计特性，如显著性水平（见）、置信系数(见)等，往往是精确而非近似的。与此相对，大样本方法也称为“渐近方法”或“近似方法”，因为它是基于统计量的渐近分布，且有关的统计特性只是近似而非精确的。在应用中,样本大小n总是一个有限数，这里就有一个近似程度如何的问题。如在对N（μ,σ2）中的μ作区间估计的例子中，指定的置信系数为0.95，按大样本理论作出区间估计当n→时,其置信系数趋于0.95,但即使n很大,置信系数也只是接近而非确切等于0.95。为了在使用它时做到心中有数，需要在n固定的情况下,对真实的置信系数与其近似值0.95的差距作出有用的估计，在大样本方法的使用中，一般都存在此问题。但由于数学上的困难，目前使用的许多大样本方法中，通常很少有有效的误差估计，这是大样本方法的弱点。然而它仍有重要的理论和实际意义：它不仅提供了一批可供选用的统计方法，而且，经验证明，当一个统计方法不具备某些基本的大样本性质（如相合性）时，常常也很难有良好的小样本性质。评价一个统计方法的优良性时，大样本性质是不可忽视的。
相合性，是一项重要的大样本性质。一般地说，统计方法的相合性是指：只要样本大小n足够大,则使用这个统计方法时，可以用任意确切的程度回答所提出的统计推断问题。例如,估计的相合性是表示,当n→时,估计量在一定意义下，如依概率收敛或几乎必然收敛或以r阶平均收敛 (见)于被估计值。检验的相合性是指它在任意指定的备择假设处的功效当n→时趋于 1。相合性是最基本也是最容易满足的大样本性质。还有渐近无偏性、渐近有效性（见）、和渐近正态性，或更一般地，渐近于某种特殊的极限分布的性质，也都是重要的大样本性质。
大样本统计的发展，依赖于的极限理论，它在一定程度上已构成概率论极限理论的一个方面。1900年K.皮尔森证明了关于拟合优度的ⅹ2统计量的分布渐近于ⅹ2分布的著名定理，可以作为大样本理论的发端。更早一些，在概率论中就证明了关于二项分布渐近于正态分布的定理，这个定理也可用于大样本统计方法（求二项分布参数的大样本区间估计），但习惯上把这定理看作是纯粹概率论的定理。自1900年以后，特别是二次大战后的30多年中，大样本理论发展很快，达到了相当深入的地步，重要的结果有：关于拟合优度的ⅹ2检验渐近于ⅹ2分布的理论，最大似然估计及一般渐近有效估计的理论，似然比检验及一般渐近有效估计的理论，稳健估计大样本理论以及中大量的大样本理论。现在，大样本理论在数理统计学中仍是一个活跃的研究方面。（见、、）

参考书目
J. Serfling,ApproxiMation Theorems in MatheMatical Statistics, John Wiley & Sons, New York,1980.

数据的统计处理方法

由于测量的偶然误差以及被研究的物理现象本身的随机性质，实验观测数据是由带有偶然性的一些随机数据组成的。实验数据处理的任务是，由测得的有限个随机数据（观测值随机变量的一个样本），推断被测定物理量的数值，或物理量之间的函数关系或被研究的物理现象的其他规律性。数据处理必须应用以随机量为研究对象的统计数学方法，主要是概率论、数理统计学和随机过程理论的数学方法。在粒子物理实验中，由于物理现象本身固有的随机性质很突出，物理现象的规律性往往被所测数据表面上的偶然性所掩盖，所以选择适当的统计方法进行数据处理就更为重要。数据处理中最常用的统计方法有参量估计、假设检验、拟合以及蒙特－卡罗模拟等。
参量估计 被测定的物理量常常是观测值所服从的统计分布中的参量。例如，稳定粒子的寿命是其生存时间观测值所服从的指数分布中的参量，的质量和寿命是其衰变产物系统不变质量所服从的布赖特－维格纳(Breit-Wigner)分布中的参量。由观测数据推断物理量的数值，需要应用数理统计学中的参量估计方法。
最大似然法是估计分布参量值的一个最常用的方法。若观测值x服从概率密度函数为p(x；θ)的一个统计分布，分布参量θ为待测定的物理量，进行N次独立测量得到一组观测值x1、x2、…、xN，似然函数是在参量取某特定值θ的条件下出现该组观测数据的概率，最大似然法选择使似然函数取最大值的参量值作为特定参量θ的估计值：

估计值的误差用一定置信水平下的置信区间表示（见）。置信区间可根据估计值的分布性质用区间估计的方法定出，利用参量估计的置信分布方法，可以得到被估物理量的一个完整的概率推断，即该物理量的置信分布。通常的测量误差处理是参量估计的一个特殊情况：观测值服从正态分布，被测物理量的真值是观测值正态分布的期待值，其最大似然估计值是观测值的算术平均值，平均值左右一倍标准误差区间的置信水平为68.3％。
在被测物理量θ是一个随机变量,并且已知它的概率分布p(θ)（验前分布）的情况下，利用贝叶斯公式可以从观测值x1、x2、…、xN得出关于被测物理量数值的一个更精密的推断,即该物理量的验后分布，参量θ的验后分布的概率密度为

任意区间【θ1,θ2】的置信水平为

。

拟合 拟合是寻求被观测物理量之间的函数关系的统计数学方法，又叫做观测数据的平滑，设y和x都是被观测的物理量，并且y是x的函数，函数关系由理论公式y＝f(x;c)表示,式中c＝(с1,с2,…,сm)为m个待定的参量，拟合的任务是由测得的N对观测值、、…、推断理论公式中的未知参量c。
最常用的拟合方法是最小二乘法，在各观测值彼此独立且x的测量误差可以忽略的情况下，最小二乘法选择使各观测点残差（y的观测值与理论值之差）的“加权平方和最小”的参量值╦ 作为参数的估计值，即

其中σ崿为观测值y壟的方差。
最小二乘法可用于解决物理实验中各种经验公式的实验曲线的建立问题（如粒子物理实验中粒子径迹的重建）。
假设检验 参量估计和拟合方法用于由实验数据估计观测值统计分布中或被观测量间函数关系中的待定参量。但是，观测值所服从的统计分布或被观测量间函数关系的理论公式常常只是一种统计假设；这种假设是否能应用于实验的具体情况，是否同观测结果有显著的矛盾，需要用观测数据予以检验。实验中需要检验的统计假设还可以是关于观测值统计分布参量数值的某种断言，假设检验方法常用于判断实验条件（例如仪器指标）是否正常，是否存在明显的系统误差，或者实验结果中是否包含着观测值的统计分布或被观测量间函数关系的理论假设中所没有考虑到的新现象。假设检验方法还可用于从两种理论假设中挑选一个最可能的假设，例如从不同粒子的混合束中，根据测得的数据有效地挑选出某种需要的粒子。
假设检验的一般方法，是选择一个观测数据的函数λ(x),叫做检验统计量，λ的数值表现了理论假设同实测数据的差异，而且在理论假设成立的条件下λ的统计分布已知，则如果由测得数据算出的λ值落入了表明与理论假设差异很大的某个区域之内（即在理论假设成立的条件下由λ的统计分布算得λ值落入该区域内的概率──显著水平──很小），就表明观测数据同理论假设存在显著的矛盾。
在实际问题中，应当根据具体情况选择适当的检验统计量。
一个广泛使用的检验统计量是皮尔孙 (Pearson)ⅹ2量，其定义为

式中ni为落入区间i中观测值的个数,Ei为区间i中观测值个数的理论预期值。显然，ⅹ2值的大小表现了实验数据与理论值差异的大小；同时，如果理论假设是正确的,则ⅹ2量渐近地服从一个已知的ⅹ2分布,可以利用ⅹ2分布对差异的大小作出定量的概率估计。
在观测值统计分布中的参量θ只有两个可能值θ0和θ1的情况下,对于由观测值x判断参量是否为特定值θ0的参量检验问题,似然比是一个很有用的检验统计量,似然比的定义为

。

蒙特－卡罗模拟 见。
参考书目
李惕碚著：《实验的数学处理》，科学出版社，北京，1980。
A.G.Frodesen,et al.,ProBability and Statistics in particle Physics,Universitetsforlaget, Bergen,1979.

检测理论

应用统计推断理论研究从有噪声的信号中提取信息的最佳方式和检测系统的最佳设计，为的一个分支。检测就是从有限个可能出现的信号集合中作出选择，从而在有噪声的信号中提取信息的过程。
检测理论是统计信号处理的理论基础之一。除了广泛应用于雷达、声纳、通信、自动控制等技术外，在地震学、射电天文学、地球物理、生物医学、生物物理学等学科领域里，也有广泛的应用。
经典检测 又称假设检验，它包括三个基本组成部分。首先是产生各种假设的源。假设可以看成是关于可能判决的陈述。产生这些陈述的机构称为源。其次是概率转移机构，对应于每一种假设，它按照某种概率规律产生赖以作出判断的观察量，即观察空间中的一点。最后根据某种意义下的最佳判决准则，把观察空间划分为对应于各种假设的区域，亦即产生出最佳判决的系统。
判决的依据是观察量的统计特性。对应于每一种假设，似然函数定义为各种条件概率密度函数Pi(r│Hi)(i＝0,1,…,M-1)；r为观测矢量(r1,r2,…，rn)。在参量检测中，关于噪声以及信号与噪声之和的概率密度函数是已知的，或者除去确定它们的有限个参量以外是已知的。前者对应于简单假设检验，后者对应于复合假设检验。如果噪声分布的真正形式未知，则有限数目的参量不足以确定它们，这时的检测称为非参量检测。信号检测可以分为三种不同水平的问题。①确知信号的检测,如同步数字通信。②含未知参量的信号检测,如、目标检测，非相干数字通信系统，慢衰落信道。③随机信号的检测，如被动声纳、地震检测和射电天文检测。
二元检测 源输出为两种可能的假设之一，分别表示为H0和H1),并称H0为“零”假设。例如,雷达目标检测中,H0假设和H1假设分别表示目标的不存在和存在,记为 H0:r(t)=n(t)

H1:r(t)=s(t)+n(t) （0≤t≤T）

式中r(t)为接收信号；s(t)为预期目标回波信号；n(t)为干扰噪声。时区【0，T】为观察区间。另一个普通的例子为二元通信问题。这时H0和H1可分别对应于发送的空号s0(t)和传号s1(t)。H0:r(t)=s0(t)+n(t),H1:r(t)=s1(t)+n(t),0≤t≤T。信号检测的目的就是要根据r(t)在某种最佳意义下，判决目标的存在或不存在，判决发送的是空号还是传号。
M元检测 源输出为M个可能的假设H0，H1，…，之一。典型例子为雷达的多目标检测和M元通信问题。信号参量估计问题也可近似地当作M元检测问题来处理。
最佳准则 理论上的最佳准则为贝叶斯准则──使全部判决的平均风险为最小的准则。假定M个可能发生的消息的先验概率已知并为P(Hj)(j=0,1,…,M-1)。如果实际存在的是消息j而被判定为消息i，定义其判决代价为Cij。假定Cij(i,j＝0,1,…，M-1)已经确定。贝叶斯准则是对于任何一组观测数据，选择假设Hj，它产生的平均风险最小。平均风险的定义为

P(Hi|Hj)表示Hj为真时，选择Hi的概率。选择使平均风险为极小的假设与选择使条件风险为极小的假设是等效的。条件风险的定义为

即给定一组测量数据r，判决假设Hj为真时的风险。P(Hi│r)称为后验概率, 即给定r，Hi为真的概率。这种准则下的最佳检测器是通过计算一组M-1个似然比，然后基于各似然比的相对大小作出判决来实现的，这就是似然比检测系统。第i个似然比的定义为第i个似然函数与第 0个似然函数之比。对于二元检测，只须把似然比Λ(r)＝P1(r|H1)/P0(r|H0)与特定门限值λ比较,如果大于门限值判为H1，否则判为H0。作为贝叶斯准则的特例,实际上常用的还有n个判决准则。
如果给定各代价函数，而先验概率未知，一个可能的合理的策略是假定最不利的先验分布，然后再采用贝叶斯准则，这就是极小化极大准则。
通信系统常用最小错误概率准则，即最大后验概率准则，又称“理想观察者”准则。假定正确判决不付出代价，各类错误判决的代价相等，此时使平均错误概率最小就相当于使贝叶斯风险最小。
雷达和声纳目标检测中，先验概率和各种代价函数均不容易确定。这时可以采用奈曼－皮尔逊准则。这一准则的判决门限λ可由虚警（即误判目标存在）概率α确定如下：

以门限λ进行似然比判决的系统,其漏警（即漏判目标存在的）概率

在给定的虚警概率α下达到最小。
由于似然比既不取决于各先验分布，而且它与各判决代价无关，在上述几种准则下，最佳检测系统仍然是似然比系统，只是各判决门限由相应准则来决定。
匹配滤波器 假定所接收的有噪声信号为si(t)＋n(t),其中n(t)为高斯白噪声，si(t)为相应于消息i的确知信号，这时计算似然比的装置实质上是一个线性滤波器，其传输函数H(ω)与信号的频谱函数S(ω)有下述关系

式中k为实数；t0为抽样判决时刻。上式说明所求线性滤波器的传输函数等于信号频谱的共轭值，因而习惯上称之为匹配滤波器。
匹配滤波器有下述性质：①在所有线性滤波器中，匹配滤波器在输出端给出最大瞬时信噪比。②在白噪声下，匹配滤波器的输出瞬时信噪比只与输入信号能量和白噪声功率谱密度有关。③与信号s(t)匹配的匹配滤波器对于信号as(t-τ)(ɑ为常数；τ为时延)来说也是匹配的。即匹配滤波器对于波形相似而振幅和时延参量不同的信号具有适应性，但一般对频移信号是不适应的。④在高斯白噪声情况下，匹配滤波器等效于一个互相关器。
参考书目
H. L. Van Trees,Detection,Estimation,and Modulation Theory,Part I,Wiley,New York,1968.