On-Premise Detection of a Guideline-Driven Oral Anticoagulation Shift in German Doctors' Letters Using Local Large Language Models.

چکیده اصلی

INTRODUCTION: A vast amount of German clinical routine data are still stored in unstructured doctors' letters. To make these data available for clinical research, medical information must be extracted from these letters entirely inside the hospital infrastructure, under strict data-protection and transparency constraints. We present an early clinical application of local large language models (LLMs) for medication information extraction (MIE) to detect a guideline-driven shift in oral anticoagulation treatment from vitamin K antagonists (VKAs) to direct oral anticoagulants (DOACs) in German cardiology doctors' letters. METHODS: We analyzed two corpora from different time periods: 500 letters from CARDIO:DE (2020/21) and 538 routine letters from an internal 2012 corpus without gold-standard annotation. For 2012, medication information was extracted automatically with an on-premise fine-tuned Llama-3.1-70b MIE pipeline; for CARDIO:DE, gold-standard annotations were used. Medication related to anticoagulants were identified via extracted medication mentions and medication-reason relations, and classified into VKA, DOAC, and OTHER classes using guideline-based lexicons. Furthermore, we analyzed the active-ingredient composition within the DOACs and performed a manual review of automatically annotated 2012 letters. We investigated whether a MIE pipeline trained on CARDIO:DE annotations can generalize to unseen older clinical letters and recover the expected treatment shift without additional manual annotations. RESULTS: DOAC proportion increased from 16.9% in 2012 to 59.9% in 2020/21, while VKA proportion decreased from 37.7% to 9.9%. Within the DOAC class, the dominant active ingredient shifted from rivaroxaban in 2012 to apixaban in 2020/21. Manual review showed that remaining errors were mainly linked to generic medication mentions and missing medication-reason relations rather than incorrect MIE. CONCLUSION: We show that under strict clinical constraints, local LLM-based MIE models trained on CARDIO:DE can support medication trend analysis in unseen older German doctors' letters and provide an on-premise method for downstream clinical text analysis.

ترجمه فارسی چکیده

مقدمه: حجم زیادی از داده‌های بالینی روتین آلمانی هنوز در نامه‌های پزشکان ساختار یافته نگهداری می‌شوند. برای در دسترس قرار دادن این داده‌ها برای تحقیقات بالینی، اطلاعات پزشکی باید از این نامه‌ها کاملاً در زیرساخت بیمارستان استخراج شود، تحت محدودیت‌های سختگیرانه حفاظت از داده و شفافیت. ما کاربرد اولیه مدل‌های زبانی بزرگ محلی (LLM) برای استخراج اطلاعات دارویی (MIE) را برای تشخیص تغییر درمان آنتی‌کوآگولانت دهانی مبتنی بر راهنما از آنتی‌کوآگولانت‌های آنتی‌وایدرین (VKA) به آنتی‌کوآگولانت‌های دهانی مستقیم (DOAC) در نامه‌های متخصصان قلب آلمانی ارائه می‌دهیم. روش‌ها: ما دو مجموعه داده از دوره‌های زمانی مختلف را تحلیل کردیم: ۵۰۰ نامه از CARDIO:DE (۲۰۲۰/۲۱) و ۵۳۸ نامه روتین از یک مجموعه داخلی سال ۲۰۱۲ بدون برچسب‌گذاری استاندارد طلا. برای سال ۲۰۱۲، اطلاعات دارویی به صورت خودکار با یک خط لوله MIE Llama-3.1-70b تنظیم شده در محل استخراج شد؛ برای CARDIO:DE، برچسب‌گذاری‌های استاندارد استفاده شد. داروهای مرتبط با آنتی‌کوآگولانت‌ها از طریق ذکرهای دارویی و روابط دارو-دلیل شناسایی شد و با استفاده از واژه‌نامه‌های مبتنی بر راهنما به کلاس‌های VKA، DOAC و OTHER طبقه‌بندی شدند. علاوه بر این، ما ترکیب عامل فعال در DOAC‌ها را تحلیل کردیم و یک بازبینی دستی از نامه‌های سال ۲۰۱۲ که به صورت خودکار برچسب‌گذاری شده بودند انجام دادیم. ما بررسی کردیم که آیا یک خط لوله MIE که بر روی برچسب‌گذاری‌های CARDIO:DE آموزش دیده است می‌تواند به نامه‌های بالینی قدیمی‌تر ناشناخته تعمیم یابد و تغییر درمان مورد انتظار را بدون برچسب‌گذاری دستی اضافی بازیابی کند. نتایج: سهم DOAC از ۱۶.۹٪ در سال ۲۰۱۲ به ۵۹.۹٪ در سال ۲۰۲۰/۲۱ افزایش یافت، در حالی که سهم VKA از ۳۷.۷٪ به ۹.۹٪ کاهش یافت. در کلاس DOAC، عامل فعال غالب از رواروکابان در سال ۲۰۱۲ به آپیکابان در سال ۲۰۲۰/۲۱ تغییر کرد. بازبینی دستی نشان داد که باقی‌مانده خطاها عمدتاً به ذکرهای داروی عمومی و روابط دارو-دلیل مفقوده مرتبط بودند تا به استخراج اطلاعات دارویی نادرست. نتیجه‌گیری: ما نشان می‌دهیم که تحت محدودیت‌های بالینی سختگیرانه، مدل‌های MIE مبتنی بر LLM محلی که بر روی CARDIO:DE آموزش دیده‌اند می‌توانند تحلیل روند دارویی در نامه‌های قدیمی‌تر آلمانی ناشناخته را پشتیبانی کنند و یک روش در محل برای تحلیل متن بالینی پایین‌دست ارائه دهند.

متن کامل اصلی