Large Language Models for Clinical Note Simplification: A Systematic Review and Experimental Evaluation of Medical Text Readability.

چکیده اصلی

Since the introduction of the Patient Rights Act, patients in Germany have gained legal access to their medical records, including clinical notes. However, these documents are typically written for healthcare professionals and are often difficult for patients to understand due to specialized terminology, abbreviations, and complex sentence structures. Large Language Models (LLMs) offer new opportunities to automatically simplify such texts while preserving medically relevant information. This study investigates the potential of LLMs to improve the readability of German clinical notes by combining a systematic literature review with an experimental evaluation. Ten freely available LLMs were assessed using five synthetic clinical notes, which were simplified through standardized prompts designed to ensure linguistic clarity while maintaining content fidelity. Readability was analyzed using established indices (Flesch Reading Ease, Wiener Sachtextformel, LIX, SMOG, and Coleman-Liau) and complemented by a novel analysis of medical terminology and abbreviation density as indicators of domain-specific complexity. The results show that all LLMs substantially increased overall text length while consistently reducing the density of technical terms and abbreviations. However, no model achieved consistent improvements across all readability indices, highlighting limitations of traditional metrics in the medical domain. Models such as Mistral, ChatGPT, and Copilot demonstrated the highest efficiency in balancing linguistic simplification and text length. Overall, LLMs show strong potential to enhance the accessibility of clinical documentation for patients. However, their effectiveness depends on model selection, prompt design, and evaluation methodology. The findings suggest that conventional readability metrics should be extended with domain-specific measures to more accurately assess comprehensibility in medical texts.

ترجمه فارسی چکیده

از زمان تصویب قانون حقوق بیماران، بیماران در آلمان حق دسترسی قانونی به سوابق پزشکی خود، از جمله یادداشت‌های بالینی، را دارند. با این حال، این اسناد معمولاً برای متخصصان سلامت نوشته می‌شوند و به دلیل اصطلاحات تخصصی، مخفف‌ها و ساختارهای جمله پیچیده، اغلب برای بیماران دشوار درک می‌شوند. مدل‌های زبانی بزرگ (LLM) فرصت‌های جدیدی برای ساده‌سازی خودکار این متون در حالی که اطلاعات مرتبط پزشکی را حفظ می‌کنند، ارائه می‌دهند. این مطالعه پتانسیل LLM‌ها برای بهبود خوانایی یادداشت‌های بالینی آلمانی را با ترکیب یک مرور نظام‌مند ادبیات با یک ارزیابی تجربی بررسی می‌کند. ده مدل زبانی بزرگ رایگان با استفاده از پنج یادداشت بالینی مصنوعی ارزیابی شدند که از طریق پرامپت‌های استاندارد برای اطمینان از شفافیت زبانی در حالی که وفاداری محتوا حفظ می‌شود، ساده شدند. خوانایی با استفاده از شاخص‌های تثبیت شده (Flesch Reading Ease، Wiener Sachtextformel، LIX، SMOG و Coleman-Liau) و همچنین با یک تحلیل جدید از غلظت اصطلاحات پزشکی و مخفف‌ها به عنوان شاخص‌های پیچیدگی خاص حوزه تحلیل شد. نتایج نشان می‌دهد که همه LLM‌ها طول کل متن را به طور قابل توجهی افزایش دادند در حالی که غلظت اصطلاحات فنی و مخفف‌ها را به طور مداوم کاهش دادند. با این حال، هیچ مدل بهبود ثابتی در تمام شاخص‌های خوانایی به دست نیاورد که محدودیت‌های شاخص‌های سنتی در حوزه پزشکی را برجسته می‌کند. مدل‌هایی مانند Mistral، ChatGPT و Copilot بالاترین کارایی را در تعادل بین ساده‌سازی زبانی و طول متن نشان دادند. در مجموع، LLM‌ها پتانسیل قوی برای افزایش دسترسی بیماران به مستندات بالینی دارند. با این حال، اثربخشی آن‌ها بستگی به انتخاب مدل، طراحی پرامپت و روش ارزیابی دارد. یافته‌ها نشان می‌دهند که شاخص‌های خوانایی سنتی باید با معیارهای خاص حوزه گسترش یابند تا درک‌پذیری در متون پزشکی به طور دقیق‌تری ارزیابی شود.

متن کامل اصلی