A Nonparametric Data-Fusion Approach for Identification and Estimation of Nonignorable Missing Data With Shadow Variable.

چکیده اصلی

Missing data can pose fundamental challenges to statistical inference, with nonignorable missing or missing not at random (MNAR) presenting the most severe methodological difficulties. Despite substantial advances in MNAR inference methods, several limitations remain. These generally include interpretability issues, non-identifiability, unverifiable parametric assumptions, and reliance on external information for which clear practical guidance is often lacking-particularly in sensitivity and Bayesian methods. In this paper, motivated by a real-world COVID-19 dataset from the Centers for Disease Control and Prevention (CDC), we study an MNAR scenario in the presence of a shadow variable that may itself also be subject to MNAR. A shadow variable is associated with the primary variable that is MNAR, but is conditionally independent of that variable's missingness given the primary variable and other covariates. Under the pattern mixture model framework, we propose a nonparametric inference method that can leverage external data to explicitly address the identification and estimation problems in the primary data. The method requires inference only of an observed data density and an odds of missing function, with the latter forming the core of our approach. We further provide two multiple-imputation-based estimation strategies, enhancing transparency and interpretability. The proposed framework can accommodate both covariate MNAR and outcome MNAR settings, as well as different variable types, and extends the existing shadow variable paradigm for MNAR data by relaxing the common assumption that the shadow variable must be fully observed. We evaluate the proposed method through simulation studies and apply it to CDC COVID-19 surveillance data.

ترجمه فارسی چکیده

داده‌های گمشده چالش‌های بنیادین برای استنباط آماری ایجاد می‌کنند، و داده‌های گمشده غیرقابل نادیده‌گیری (MNAR) یا گمشده نه به صورت تصادفی، دشواری‌های روش‌شناختی شدیدتری را ارائه می‌دهند. با وجود پیشرفت‌های قابل توجه در روش‌های استنباط MNAR، محدودیت‌هایی باقی مانده است. این موارد معمولاً شامل مشکلات تفسیرپذیری، غیرقابل تشخیص بودن، فرضیات پارامتری غیرقابل تأیید و وابستگی به اطلاعات خارجی است که راهنمایی عملی واضحی برای آن‌ها اغلب وجود ندارد - به‌ویژه در روش‌های حساسیت و بیزی. در این مقاله، با الهام از یک مجموعه داده واقعی کووید-۱۹ از مرکز کنترل و پیشگیری از بیماری‌ها (CDC)، ما سناریوی MNAR را در حضور یک متغیر سایه که خود ممکن است نیز در معرض MNAR باشد، بررسی می‌کنیم. یک متغیر سایه با متغیر اصلی که MNAR است مرتبط است، اما به طور شرطی مستقل از گم‌شدن آن متغیر، با توجه به متغیر اصلی و سایر متغیرهای همبستگی است. در چارچوب مدل مخلوط الگو، ما یک روش استنباط بدون پارامتر را پیشنهاد می‌کنیم که می‌تواند از داده‌های خارجی برای حل مشکلات تشخیص و برآورد در داده‌های اصلی به طور صریح استفاده کند. این روش نیازمند استنباط فقط از چگالی داده‌های مشاهده‌شده و یک تابع شانس گم‌شدن است، که دومی هسته رویکرد ماست. ما علاوه بر این دو استراتژی برآورد مبتنی بر چندین جایگزینی را ارائه می‌دهیم که شفافیت و تفسیرپذیری را افزایش می‌دهند. چارچوب پیشنهادی می‌تواند هر دو تنظیمات MNAR متغیر همبستگی و MNAR خروجی را پذیرفته و انواع مختلف متغیرها را accomodate می‌کند و پارادایم متغیر سایه موجود برای داده‌های MNAR را با شروع فرض رایج که متغیر سایه باید کاملاً مشاهده شود، گسترش می‌دهد. ما روش پیشنهادی را از طریق مطالعات شبیه‌سازی ارزیابی می‌کنیم و آن را بر داده‌های نظارت بر کووید-۱۹ CDC اعمال می‌کنیم.

متن کامل اصلی