Agentic AI in Medicine: Challenges for Responsible Development and the Case for Clinical Testing Harnesses.

چکیده اصلی

Clinical medicine evaluates decision-support technology using methods built around a single output presented for clinician review. Agentic artificial intelligence does not fit this design. Agent scaffolding, the software infrastructure surrounding a large language model that turns passive text generation into active, multi-step execution, allows the model to retrieve information, invoke external tools, and act on the results before a clinician sees any of it. The relevant unit of clinical risk therefore shifts from a single inference to a trajectory of actions. We describe four challenges this creates for responsible development: silent error propagation across multi-step tasks, oversight that reviews conclusions rather than processes, validation that does not survive changes to model or tooling, and scope that widens faster than the evidence supporting it. We argue that each is addressed by a clinical testing harness: a structured evaluation environment comprising scenario libraries built from clinical edge cases, full-trajectory observability, explicit escalation testing, and staged evidence thresholds tied to scope of practice. Medicine already possesses these tools in the form of simulation, credentialling, and morbidity and mortality review, and requires their adaptation rather than their invention.

ترجمه فارسی چکیده

پزشکی بالینی فناوری‌های پشتیبان تصمیم‌گیری را با روش‌هایی ارزیابی می‌کند که حول یک خروجی تمرکز دارند. هوش مصنوعی عامل (Agentic AI) با این طراحی سازگار نیست. سکوی عامل، زیرساخت نرم‌افزاری اطراف یک مدل زبانی بزرگ که تولید متن را به اجرای فعال و چندمرحله‌ای تبدیل می‌کند، به مدل اجازه می‌دهد اطلاعات را بازیابی کند، ابزارهای خارجی را فراخوانی کند و قبل از اینکه پزشک هیچ‌کدام را ببیند، بر نتایج عمل کند. بنابراین، واحد مرتبط ریسک بالینی از یک استنتاج به یک مسیر اقدام تغییر می‌کند. ما چهار چالش که این امر برای توسعه مسئولانه ایجاد می‌کند را توصیف می‌کنیم: انتشار خطای ساکت در وظایف چندمرحله‌ای، نظارت که به جای فرآیندها، نتایج را بررسی می‌کند، اعتبارسنجی که در صورت تغییر مدل یا ابزارها باقی نمی‌ماند و دامنه‌ای که سریع‌تر از شواهد پشتیبان آن گسترش می‌یابد. ما استدلال می‌کنیم که هر کدام با یک آزمایش بالینی (clinical testing harness) حل می‌شوند: محیط ارزیابی ساختاریافته که شامل کتابخانه‌های سناریو بر اساس موارد حاد بالینی، مشاهده‌دهی کامل مسیر، تست صریح ارتقا و آستانه‌های شواهد مرحله‌ای وابسته به دامbedo عمل است. پزشکی این ابزارها را به صورت شبیه‌سازی، گواهینامه‌دهی و بررسی morbidity و mortality دارد و نیازمند تطبیق آن‌ها است تا اختراع آن‌ها.

متن کامل اصلی