Multiple Imputation by Chained Equations - eine Leistungsevaluation bei Schätzung von Strukturgleichungsmodellen mittels Monte-Carlo-Simulationen

Abstract

Fehlende Werte sind ein omnipräsentes Phänomen der empirisch-quantitativ arbeitenden Sozialforschung. Da die meisten empirischen Datensätze fehlende Werte aufweisen, müssen möglichst geeignete Wege und Verfahren gefunden werden, um diese vor der Analyse angemessen zu behandeln. Das gilt auch für Analysen mit der Strukturgleichungsmodellierung (SEM). Zur Behandlung der fehlenden Werte, werden aktuell zwei Methoden präferiert: Direct-ML (ein Maximum Likelihood-Schätzverfahren) und die Multiple Imputation (MI). Während Direct-ML im SEM-Kontext in einigen Studien systematisch evaluiert wurde, gilt das für die MI nicht. Das kann darin begründet sein, dass für die MI verschiedene Varianten existieren, mit welchen die Ersetzung der fehlenden Werte jeweils unterschiedlich verläuft. Aufgrund ihrer Flexibilität ist die MI mittels conditional modeling (FCS) eine beliebte und oft eingesetzte Variante. Jedoch zeigt sich, dass deren Leistungsfähigkeit im SEM-Kontext kaum evaluiert wurde. In der vorliegenden Monte-Carlo-Studie wird diese Forschungslücke geschlossen, indem eine umfangreiche systematische Evaluation von FCS durchgeführt wird und verschiedene Spezifikationen von FCS untersucht werden (darunter eine mit predictive mean matching; PMM). Zusätzlich werden zum gegenüberstellenden Vergleich weitere Missing Data Techniken (MDTs) evaluiert. Das sind Direct-ML, eine Einfachimputation mit Expectation-Maximization (EM), zwei MI-Varianten mittels joint modeling Ansatz (EMB und MNV) sowie eine Variante, die bei der Imputation der fehlenden Werte die Modellstruktur des Analysemodells berücksichtigt (H0). Alle sieben MDTs werden im Kontext von drei verschiedenen SEM-Populationsmodellen unter unterschiedlichen Simulationskonfigurationen getestet. Zu den variierten Testbedingungen gehören: die Fallzahl, die Variablenskalierungen und -verteilungen sowie der Anteil an fehlenden Werten. Die Performanz der MDTs wird hinsichtlich verschiedener SEM-Fit-Indices, der geschätzten Parameter, deren Effizienz und der geschätzten Standardfehler bewertet. Im Ergebnis können zwei MDTs identifiziert werden, die unter allen Bedingungen zuverlässig arbeiten: Direct-ML und H0. Mit beiden Verfahren gehen für alle Performanzkriterien zufriedenstellende Ergebnisse einher. Die anderen MDTs schneiden dagegen etwas schlechter ab. Zwar liefern auch diese gute Ergebnisse für die Parameter und die Standardfehler (Letzteres mit Ausnahme von EM), allerdings nicht für die Fit-Indices (mit Ausnahme für das SRMR). In vielen Fällen kommt es nach dem Einsatz dieser MDTs zur fehlerbehafteten Modellbewertung. Deswegen werden die Ergebnisse der Arbeit in Handlungsempfehlungen übersetzt, die der Praxis als Orientierungshilfen dienen sollen, da sie angeben, unter welchen Bedingungen, mit welcher MDT zufriedenstellende Ergebnisse zu erwarten sind.

In the empirical-quantitative (social) sciences, missing values are an omnipresent phenomenon. Because most empirical data sets include missing values, suitable ways and procedures must be found to treat them appropriately before the data can be analyzed. This also applies to statistical analyses with structural equation models (SEM). For the treatment of missing values, two methods are currently preferred: Direct-ML (a maximum likelihood estimation method) and Multiple Imputation (MI). While some studies evaluate the performance of Direct-ML in SEM analysis, this is less the case for MI. That might be because there are different variants for MI and each of those imputes the missing values in different ways. Because of its flexibility, the chained equations approach (FCS) for MI is a popular and frequently used variant. However, it turns out that in the context of analysis with SEM, its performance has hardly been evaluated. The present Monte Carlo study expands on the current research through a comprehensive evaluation of FCS and several of its specifications (including a specification with predictive mean matching; PMM). For comparative reasons, additional Missing Data Techniques (MDTs) are evaluated. These are Direct-ML, single imputation with Expectation-Maximization (EM), two variants of MI using a joint modeling approach (EMB and MNV) and a variant that imputes missing values by taking into account the structure of the analysis model (H0). All MDTs are tested under three different SEM-population models and various configurations for simulation. The varied test conditions include: the number of cases, the scaling of the variables and their distribution, and the proportion of missing values. The performance of the MDTs is evaluated with respect to different fit indices used most prominently in SEM analysis, the estimated parameters, their efficiency, and the estimated standard errors. As a result, two MDTs can be identified that work satisfactorily under all configurations: Direct-ML and H0. Both methods produce good results for all criteria examined, whereas the other MDTs perform slightly worse. Although they also provide good results for the parameters and the standard errors (the latter with the exception of EM), they do not deliver acceptable results for the fit indices (with the exception of SRMR). In many cases, the use of these MDTs leads to erroneous model evaluation and therefore to false rejections of SEMs. For this reason, the results of this study are translated into recommendations for action, which are intended to serve as guidelines for practitioners, since they show under which conditions satisfying results can be expected with each of the tested MDTs.