缺失数据
此條目需要补充更多来源。 (2018年10月13日) |
缺失數據（英語：missing data）指在統計调查的过程中，由于受访者对问题的遗漏、拒绝，或是调查员与調查問卷本身的一些疏忽，使得经常会出现缺失数据问题，但是几乎所有标准统计方法都假设每單个案有可用于分析的所有變數信息，因此缺失数据就成为统计研究或问卷调查的工作人员必须解决的问题。
Paul D. Allison在其2011年出版的Missing Data一书中提到许多解决缺失数据问题的方案，而它们各有利弊。
相关概念[1]
介绍缺失数据的解决方案前須明白几个相关的統計概念：
完全隨機缺失（missing completely at random, MCAR）
假设一个特殊变量Y有缺失数据。如果Y缺失数据的概率与Y本身的值或在该数据组中任何其他变量的值都无关的话，那么Y的数据就是完全随机缺失的（MCAR）。
随机缺失（missing at random, MAR）
如果在分析中控制了其他变量后，Y缺失数据的概率与Y值无关，则称Y的数据为随机缺失（MAR）的，即：
- Pr（Y missing|Y，X）=Pr（Y missing|X）。
不隨機缺失（missing not at random, MNAR）
缺失資料發生的原因與缺失資料本身的值有相關。是不可忽略的缺失。
可忽略的
如果数据為MAR且管制缺失数据过程的参数与要估计的参数无关，则缺失数据的机制是可忽略的。在某些情况下，MAR和可忽略性可以视为相等的条件。
不可忽略的
如果數据不是MCAR或MAR，则说缺失数据机制是不可忽略的。
缺失数据解决方案
解决缺失数据问题的方法主要有成列删除、成对删除、虚拟变量调整、插补、多重插补和最大似然。
成列删除
成列删除的思想是：在分析中当某个案的任何变量有缺失数据时，便简单地将该个案从分析中排除。也称为个案删除。
成列删除方法的优点有：
- 可用于任何类型的统计分析。
- 不需特别的运算方法。
- 如果数据是MCAR，则减少的样本将会是原样本的一个随机次样本。
- 如果任何因变量缺失数据的概率不取决于自变量的值，则使用成列删除的回归估计值将会是无偏误的。
成列删除方法的缺点有：
- 标准误通常较大。
- 如果数据不是MCAR而只是MAR，那么成列删除可能会产生有偏误的估计值。
成对删除
成对删除的原理是：通过所有可得的个案来计算这些描述统计的每一个。成对删除又称可得个案分析。
成对删除方法的优点是：如果数据为MCAR，成对删除就产生一致的参数估计值（在大样本中接近无偏误），且有比成列删除更少的抽样变异（较小的真实标准误），而当变量间相关性普遍较低时，成对删除会产生更有效的估计值。
成对删除方法的缺点有：
- 如果数据是MAR但不是随机被观察到的，估计值可能会严重偏误。
- 由统计软件所产生的标准误和检验统计量估计时偏误的。
- 在小样本中，建构的协方差或相关矩阵可能不是“正定的”。
虚拟变量调整
虚拟变量调整或缺失指标方法：假设某变量X有一些缺失数据，X为回归分析中数个自变量的其中一个，那么可以建立一个虚拟变量D，如果X存在数据缺失则D=1，否则D=0。同时建立一个变量X'，使得当不存在数据缺失时X'=X，否则X'等于一个任意常数c。回归因变量Y于X'、D及其他在预设模型中的所有变量。
虚拟变量调整方法的优点是：它使用了所有可用的关于缺失数据的信息。
虚拟变量调整方法的缺点是：它通常会产生有偏误的系数估计值。
插补
插补方法的基本原理是：以某些合理的猜测插补或替代缺失值，然后再接着按没有缺失数据的情况分析。但是，按照完整数据的情况分析插补数据会低估标准误、高估检验统计量。
多重插补
多重插补法（MI）具有与最大似然法相同的最适特性，但却排除了某些局限性。特别是当数据为MAR时，正确使用多重插补会产生一致的、渐近有效且渐近正态的估计值。多重插补的另一个优势是，它几乎可以被任何一种数据或模型所使用，且分析可用未修改的、传统的软件执行。不过，多重插补也有缺点，执行可能很麻烦也很易出错，最严重的是每次使用多重插补时，都会产生不同的估计值。
最大似然
最大似然是一个有效且实用的处理随机缺失数据的方法，且对于大样本来说是最合适的，但它有一个限制条件：它需要包含所有缺失变量的联合概率的模型。因此比较适合于线性模型和对数线性模型。
不可忽略的缺失数据
任何有关不可忽略的缺失数据的方法都应伴随一个敏感度分析，因为根据假设的模型，结果可能变化很大，故试验一貌似有理范围的模型并看它们是否产生相同的结果是很重要的。
參考文獻
- ^ 缺失資料在因素分析上的處理方法之研究 (PDF). 缺失資料在因素分析上的處理方法之研究. [2022-09-26]. （原始内容存档 (PDF)于2022-09-26）.
- Paul D., Allison. Missing Data. New York City: SAGE Publications. 2001. ISBN 9780761916727.