Validity, reliability, and predictive performance of a multi-tool competency assessment framework in a multi-specialty robotic surgery training program: the WETPROF experience.

چکیده اصلی

Structured robotic surgery curricula increasingly integrate simulation, dry lab, microsurgery and high-fidelity wet lab training, yet few studies have comprehensively evaluate how performances across these educational components relate to final proficiency in a multimodal curriculum. We aimed to evaluate the WETPROF inter-university robotic surgery diploma curriculum by analyzing relationships between theoretical knowledge, simulator performance, practical training modules and final wet lab performance, while assessing the reliability and convergent validity of the assessment instruments used throughout the program. We retrospectively analyzed prospectively collected data from 131 surgeons enrolled in the WETPROF curriculum between 2023 and 2025. Training included theoretical assessment, DvTrainer virtual reality simulation, microsurgery, GEARS-rated FRS Dome exercises and a final porcine wet lab evaluated using GEARS, ARCS and NOTSS. Internal consistency was assessed using Cronbach's alpha, convergent validity with Spearman correlations, group comparisons using non-parametric tests, and multivariable regression models were used to identify predictors of simulator progression and final wet lab performance. The wet lab assessment instruments demonstrated excellent internal consistency (Cronbach's α=0.975) and very strong convergent validity (ρ=0.85-0.89; all p<0.001). Baseline theoretical knowledge was not associated with either simulator or wet lab performance. Prior robotic experience significantly improved simulator progression, particularly DvTrainer performance (effect size r=0.525), whereas its influence on final wet lab performance was limited. DvTrainer curriculum score was independently predicted by GEARS FRS Dome, microsurgery performance and GEARS Wet Lab (R²=0.480). In contrast, wet lab performance was only weakly explained by demographic characteristics (R²=0.156), with DvTrainer score emerging as the only independent external predictor (β=+0.220, p=0.016). These findings indicate that simulator progression and wet lab performance represent complementary dimensions of surgical competence. The WETPROF curriculum provides a coherent multimodal framework for robotic surgery training. The excellent reliability and convergent validity of the assessment instruments support their use within competency-based education. Although theoretical knowledge and prior experience contribute little to final wet lab performance, progression through the simulation curriculum is associated with better technical performance in a high-fidelity environment, supporting the educational value of a progressive simulation-based pathway before clinical practice.

ترجمه فارسی چکیده

برنامه‌های آموزشی رباتیک جراحی ساختاریافته به تدریج شبیه‌ساز، آزمایشگاه خشک، میکروجراحی و آزمایشگاه غوطه‌وری با کیفیت بالا را ادغام می‌کنند، اما تعداد کمی از مطالعات به طور جامع ارزیابی می‌کنند که چگونه عملکرد در این مؤلفه‌های آموزشی با مهارت نهایی در یک برنامه چندمدی ارتباط دارد. هدف ما ارزیابی دوره دیپلم رباتیک جراحی بین‌دانشگاهی WETPROF از طریق تحلیل روابط بین دانش نظری، عملکرد شبیه‌ساز، ماژول‌های تمرین عملی و عملکرد نهایی آزمایشگاه غوطه‌وری بود، در حالی که پایایی و همبستگی سازگاری ابزارهای ارزیابی مورد استفاده در طول برنامه را ارزیابی می‌کردیم. داده‌های جمع‌آوری شده آینده‌نگرانه از ۱۳۱ جراح enrolled در دوره WETPROF بین ۲۰۲۳ و ۲۰۲۵ به صورت پس‌نگرانه تحلیل شد. آموزش شامل ارزیابی نظری، شبیه‌ساز واقعیت مجازی DvTrainer، میکروجراحی، تمرینات FRS Dome با رتبه‌بندی GEARS و یک آزمایشگاه غوطه‌وری خوکی نهایی با استفاده از GEARS، ARCS و NOTSS بود. پایایی درونی با آلفای کرونباخ، همبستگی سازگاری با همبستگی اسپیرمن و مقایسه گروهی با آزمون‌های غیرپارامتریک و مدل‌های رگرسیون چندمتغیره برای شناسایی پیش‌بینی‌کنندگان پیشرفت شبیه‌ساز و عملکرد آزمایشگاه غوطه‌وری نهایی استفاده شد. ابزارهای ارزیابی آزمایشگاه غوطه‌وری پایایی درونی عالی (آلفای کرونباخ = ۰٫۹۷۵) و همبستگی سازگاری بسیار قوی (ρ = ۰٫۸۵-۰٫۸۹؛ همه p < ۰٫۰۰۱) را نشان دادند. دانش نظری پایه با عملکرد شبیه‌ساز یا آزمایشگاه غوطه‌وری مرتبط نبود. تجربه رباتیک قبلی پیشرفت شبیه‌ساز را به طور معناداری بهبود داد، به ویژه عملکرد DvTrainer (اندازه اثر r = ۰٫۵۲۵)، در حالی که تأثیر آن بر عملکرد آزمایشگاه غوطه‌وری نهایی محدود بود. امتیاز دوره DvTrainer به طور مستقل توسط عملکرد FRS Dome GEARS، عملکرد میکروجراحی و آزمایشگاه غوطه‌وری GEARS پیش‌بینی شد (R² = ۰٫۴۸۰). در مقابل، عملکرد آزمایشگاه غوطه‌وری تنها به طور ضعیف توسط ویژگی‌های جمعیت‌شناختی توضیح داده شد (R² = ۰٫۱۵۶)، در حالی که امتیاز DvTrainer به عنوان تنها پیش‌بینی‌کننده خارجی مستقل ظاهر شد (β = +۰٫۲۲۰، p = ۰٫۰۱۶). این یافته‌ها نشان می‌دهند که پیشرفت شبیه‌ساز و عملکرد آزمایشگاه غوطه‌وری ابعاد مکمل مهارت جراحی را نشان می‌دهند. دوره WETPROF یک چارچوب چندمدی منسجم برای آموزش رباتیک جراحی ارائه می‌دهد. پایایی و همبستگی سازگاری عالی ابزارهای ارزیابی از استفاده از آن‌ها در آموزش مبتنی بر مهارت حمایت می‌کند. اگرچه دانش نظری و تجربه قبلی به عملکرد آزمایشگاه غوطه‌وری نهایی کمک کمی می‌کنند، پیشرفت از طریق دوره شبیه‌ساز با عملکرد فنی بهتر در یک محیط با کیفیت بالا مرتبط است، که ارزش آموزشی مسیر مبتنی بر شبیه‌ساز پیشرو را قبل از عمل بالینی پشتیبانی می‌کند.

متن کامل اصلی