Refined Exclusion in Medical AI: Data Justice and Patient Safety Governance.

چکیده اصلی

Medical AI is often evaluated using aggregate measures of discrimination, calibration, and accuracy. However, these measures can obscure clinically important variation across patient groups, institutions, devices, and workflows. This viewpoint defines refined exclusion as a governance condition in which an AI system appears successful in aggregate, while uncertainty, error, or reduced clinical reliability is concentrated in populations that are insufficiently represented, measured, validated, or monitored. The concept does not replace algorithmic fairness, hidden stratification, dataset shift, or subgroup performance analysis. It connects these mechanisms to a distinct consequence: an unequal distribution of safety that remains inadequately detected or corrected. Drawing on purposively selected, illustrative evidence from population health management, chest radiography, dermatology, computational pathology, medical foundation models, and clinical measurement, we distinguish model-level disparity, patient safety signals, and documented patient harm. We then frame data justice as a complementary governance approach with distributional, procedural, and substantive dimensions. The proposed lifecycle decision gates address intended use, subgroup learnability, data provenance, validation, procurement, local deployment, monitoring, updates, and patient feedback. Each gate links minimum evidence to decision authority and 1 of 4 actions: proceed, enrich or validate, restrict use, or pause or retire. Governance intensity should be proportionate to clinical risk and evidentiary uncertainty. By linking subgroup evidence gaps to institutional decisions and corrective action, the framework shifts attention from whether a model performs well on average to whether its safety is demonstrable for the populations and settings in which it will be used.

ترجمه فارسی چکیده

هوش مصنوعی پزشکی اغلب با معیارهای تجمیعی تبعیض، کالیبراسیون و دقت ارزیابی می‌شود. این معیارها می‌توانند تغییرات clinically مهم را در میان گروه‌های بیمار، نهادها، دستگاه‌ها و جریان‌های کاری پنهان کنند. این دیدگاه اصلاح‌یافته حذف را به عنوان یک شرط حاکمیت تعریف می‌کند که در آن یک سیستم هوش مصنوعی در سطح تجمیعی موفق به نظر می‌رسد، در حالی که عدم قطعیت، خطا یا کاهش اعتماد بالینی در جمعیت‌هایی متمرکز است که به‌طور ناکافی نمایندگی، اندازه‌گیری، اعتبارسنجی یا پایش شده‌اند. این مفهوم جایگزین عدالت الگوریتمی، طبقه‌بندی پنهان، تغییر مجموعه داده یا تحلیل عملکرد زیرگروه نیست. این مفهوم این مکانیزم‌ها را به یک پیامد متمایز متصل می‌کند: توزیع نابرابر ایمنی که همچنان به‌طور ناکافی کشف یا اصلاح می‌شود. با استفاده از شواهد نمادین از مدیریت سلامت جمعیتی، رادیوگرافی سینه، دامپزشکی، آناتومی پاتولوژی محاسباتی، مدل‌های پایه پزشکی و اندازه‌گیری بالینی، ما تفاوت سطح مدل، سیگنال‌های ایمنی بیمار و آسیب ثبت‌شده بیمار را تمایز می‌دهیم. سپس عدالت داده را به عنوان یک رویکرد حاکمیت تکمیلی با ابعاد توزیعی، فرآیندی و مادی تعریف می‌کنیم. درهای تصمیم‌گیری در چرخه حیات پیشنهادی، استفاده هدفمند، قابلیت یادگیری زیرگروه، منشأ داده، اعتبارسنجی، تأمین، پیاده‌سازی محلی، پایش، به‌روزرسانی‌ها و بازخورد بیمار را پوشش می‌دهند. هر دروازه حداقل شواهد را به اختیار تصمیم و یکی از ۴ اقدام متصل می‌کند: ادامه، غنی‌سازی یا اعتبارسنجی، محدود کردن استفاده، یا مکث یا بازنشستن. شدت حاکمیت باید متناسب با ریسک بالینی و عدم قطعیت شواهد باشد. با متصل کردن شکاف‌های شواهد زیرگروه به تصمیمات نهادی و اقدام اصلاحی، این چارچوب توجه را از این سوال تغییر می‌دهد که آیا یک مدل در میانگین عملکرد خوبی دارد یا خیر، به این سوال که آیا ایمنی آن برای جمعیت‌ها و محیط‌هایی که در آن استفاده خواهد شد، قابل اثبات است یا خیر.

متن کامل اصلی