Exploratory Implementation and Feasibility Report of CLASS (Clinical LLM Abstraction & Structuring System), A Large Language Model Pipeline for Extracting Unstructured Data From Clinical Notes.

چکیده اصلی

Electronic medical records contain rich clinical detail, but much of it resides in unstructured notes, making manual abstraction for research and quality improvement labor-intensive and difficult to scale. This report describes the development of the Clinical LLM Abstraction & Structuring System (CLASS), a Python-based modular pipeline that uses a large language model (LLM) to extract structured data from clinical notes within a secure institutional environment. CLASS combines subject matter expert-curated concept lists, a task-specific prompt suite, and a schema-constrained output format, and exports results to a dashboard for expert review and analysis. The pipeline classifies predefined concepts and flags potential variants or novel concepts for expert consideration. Its modular design allows configuration for different abstraction tasks and can process large note volumes within standard institutional infrastructure. CLASS was applied to a retrospective corpus of pediatric esophageal airway treatment surgery (EATS) operative notes at a single center. In an exploratory evaluation comparing CLASS outputs against surgeon adjudication on the 20 longest notes (3,960 note-procedure pairs), observed concordance was high (F1 0.9967). CLASS also proposed 28 candidate procedure variants or additions, 18 (64.3%) of which were judged clinically useful, though the surgeon identified 12 additional procedures that CLASS did not surface. These findings suggest that an LLM-based pipeline can feasibly extract complex, non-coded procedure information from unstructured clinical notes within this specific single-center, single-service context, and may assist clinicians and informatics teams in curating and expanding specialized concept lists, though broader validation is needed to assess generalizability to other tasks and settings.

ترجمه فارسی چکیده

ضبط‌های الکترونیک بالینی جزئیات بالینی غنی دارند، اما بخش زیادی از آن‌ها در یادداشت‌های غیرساختاریافته قرار دارد که انتزاع دستی برای تحقیق و بهبود کیفیت پرهزینه و دشوار در مقیاس‌دهی است. این گزارش توسعه سیستم CLASS را توصیف می‌کند، یک خط لوله ماژولار مبتنی بر پایتون که از یک مدل زبانی بزرگ (LLM) برای استخراج داده‌های ساختاریافته از یادداشت‌های بالینی در یک محیط نهادی امن استفاده می‌کند. CLASS لیست‌های مفهومی حرفه‌ای، یک مجموعه پرامپت تخصصی و یک فرمت خروجی محدود شده توسط اسکیمای را ترکیب می‌کند و نتایج را به یک داشبورد برای بازبینی و تحلیل تخصصی صادر می‌کند. این خط لوله مفاهیم پیش‌تعریف شده را طبقه‌بندی کرده و گونه‌های بالقوه یا مفاهیم نوین را برای نظر تخصصی علامت‌گذاری می‌کند. طراحی ماژولار آن امکان پیکربندی برای وظایف مختلف انتزاع را فراهم می‌کند و می‌تواند حجم زیادی از یادداشت‌ها را در زیرساخت نهادی استاندارد پردازش کند. CLASS بر روی یک مجموعه تاریخی از یادداشت‌های عمل جراحی برونشوایری کودکان (EATS) در یک مرکز واحد اعمال شد. در یک ارزیابی اکتشافی مقایسه خروجی CLASS با تصمیم جراح بر روی ۲۰ یادداشت طولانی‌تر (۳,۹۶۰ جفت یادداشت-عمل)، همخوانی مشاهده شده بالا بود (F1 0.9967). CLASS همچنین ۲۸ گزینه عمل یا افزودن را پیشنهاد داد که ۱۸ مورد (۶۴.۳٪) از نظر بالینی مفید ارزیابی شدند، اگرچه جراح ۱۲ عمل دیگر را شناسایی کرد که CLASS آنها را برنمی‌تابید. این یافته‌ها نشان می‌دهند که یک خط لوله مبتنی بر LLM می‌تواند به طور عملی اطلاعات پیچیده و غیرکدگذاری شده عمل را از یادداشت‌های بالینی غیرساختاریافته در این زمینه خاص یک‌مرکزی و یک‌خدماتی استخراج کند و ممکن است به تیم‌های بالینی و اطلاعاتی در تدوین و گسترش لیست‌های مفهومی تخصصی کمک کند، هرچند تأیید گسترده‌تری برای ارزیابی تعمیم‌پذیری به سایر وظایف و محیط‌ها مورد نیاز است.

متن کامل اصلی