Development and Validation of Human-AI Collaborative Workflow in SNOMED CT Mapping of Bilingual Clinical Text.

چکیده اصلی

Systematized Nomenclature of Medicine-Clinical Terminology (SNOMED CT) is the principal international standard for semantic interoperability of clinical information, but mapping free-text clinical narratives to SNOMED CT concepts remains labor-intensive. We developed a large language model agent system for mapping bilingual clinical text to SNOMED CT concepts and evaluated its effect on mapping accuracy and efficiency within a human-AI collaborative workflow. We designed a three-module agent system comprising translation, abbreviation expansion, and vector-based retrieval components, integrated with a pre-embedded SNOMED CT vector database. Three health information managers independently mapped bilingual clinical text segments using three approaches: human-only, Agent-only, and Agent-assisted human mapping. Performance was evaluated by using hit rate, precision, recall, and F1 score at k = 1 and 5, and R-precision. Mapping time was compared between human-only and human-AI collaborative approaches. A total of 2,261 de-identified clinical text segments across nine clinical categories were collected at a tertiary academic hospital in South Korea. The human-AI collaborative workflow, which expanded the set of valid SNOMED CT candidates presented at each mapping decision, raised pooled hit rate@1 from 0.837 to 0.868 (difference 0.031, 95% confidence interval [CI] 0.021 to 0.042; p < 0.001), raised R-precision from 0.632 to 0.674 (difference 0.042, 95% CI 0.034 to 0.051; p < 0.001), and reduced total mapping time by 53.9% (from 1.57 to 0.72 min per segment, including agent processing). By expanding the space of valid SNOMED CT candidates available to expert mappers, the human-AI collaborative approach improved SNOMED CT mapping accuracy while reducing time by about half. Its modular architecture, supporting periodic vector database updates without retraining, offers a sustainable and efficient solution for bilingual clinical terminology standardization.

ترجمه فارسی چکیده

SNOMED CT استاندارد بین‌المللی اصلی برای یکپارچگی معنایی اطلاعات بالینی است، اما نگاشت روایت‌های بالینی متنی به مفاهیم SNOMED CT همچنان پرهزینه است. این مطالعه یک سیستم عامل مدل زبانی بزرگ را برای نگاشت متن‌های بالینی دو زبانه توسعه داد و اثر آن را بر دقت و کارایی نگاشت در یک کارگردانی مشترک انسان و هوش مصنوعی ارزیابی کرد. سیستم شامل سه ماژول ترجمه، گسترش مخفف‌ها و بازیابی مبتنی بر بردار بود که با پایگاه داده برداری SNOMED CT پیش‌تنظیم‌شده ادغام شد. سه مدیر اطلاعات سلامت به طور مستقل متن‌های بالینی را با سه رویکرد نگاشت کردند: انسان، عامل و انسان همراه با عامل. عملکرد با نرخ برخورد، دقت، یادآوری و امتیاز F1 در k=1 و 5 و R-precision ارزیابی شد. زمان نگاشت بین رویکرد انسان و انسان-هوش مصنوعی مقایسه شد. مجموعاً 2،261 قطعه متن بالینی در نه دسته بالینی جمع‌آوری شد. کارگردانی مشترک انسان-هوش مصنوعی نرخ برخورد@1 را از 0.837 به 0.868 (تفاوت 0.031، 95% CI 0.021 تا 0.042؛ p < 0.001) و R-precision را از 0.632 به 0.674 (تفاوت 0.042، 95% CI 0.034 تا 0.051؛ p < 0.001) افزایش داد و زمان کل نگاشت را 53.9% کاهش داد (از 1.57 به 0.72 دقیقه برای هر قطعه، شامل پردازش عامل). این رویکرد دقت نگاشت SNOMED CT را بهبود داد و زمان را به نصف کاهش داد.

متن کامل اصلی