Development and Usability Assessment of a Health Education Conversational Agent for Patients With Gastric Cancer: Action Research Study.

چکیده اصلی

BACKGROUND: To provide patients with gastric cancer with adequate health education information for effective overall management is crucial, while traditional manners exposed certain challenges. Conversational agents have increasingly been adopted for health care use to provide innovative solutions for patient education. OBJECTIVE: This study aimed to develop a health education embodied conversational agent to focus on gastric cancer disease using an action research approach and test its accuracy, usability, and user experience among patients and other related stakeholders. METHODS: The AI-guided conversational agent was developed based on the OpenMEDLab 2.0 foundation model and the Retrieval-Augmented Generation (RAG) architecture. A 4-phase action research approach was adopted to implement this system at a gastric cancer center in China. Diagnose and plan phase used participatory observation and in-depth interviews to explore current health education models and patients' needs for health education. Act and implement phase was used to develop and deploy the conversational agent. Evaluate phase comprised 3 rounds of alpha testing to assess accuracy and RAG knowledge hit rate, and 1 round of beta testing to assess the usability and relevance. Reflect phase conducted in-depth interviews to gain insights into users' experiences. Data collection was conducted from September 2023 through April 2025. Participants include patients, clinical nurses, nursing managers, surgeons, clinical psychologists, and dietitians. Thematic analysis and multiple-group chi-square tests were performed, respectively, for qualitative and quantitative data. A 2-sided P value of <.05 was considered statistically significant. RESULTS: A total of 44 patients, 13 nurses, 3 nursing managers, 2 surgeons, 1 clinical psychologist, and 1 dietitian were recruited during the study procedure. Favorable outcomes in terms of accuracy and usability were achieved. The accuracy of the agent in 3 rounds was 67% (37/55), 71% (44/62), and 82% (31/38), respectively; RAG knowledge hit rates reached 86% (47/55), 98% (61/62), and 100% (38/38). Significant differences (P<.01) in RAG knowledge hit rates were observed. The mean chatbot usability questionnaire score was 91.9 (SD 3.6), while the mean content relevance score was 3.75 (SD 0.9). Three themes of user experiences were identified: perceived usefulness, ease of use, and intention to use, revealing potential in reducing staff workload and reinforcing patient education. CONCLUSIONS: This study provided insights into how the action research approach can inform the development and usability assessment of a gastric cancer health education conversational agent, also illustrating the value of RAG technology. Additional assessments and improvements are warranted to confirm the effectiveness and safety.

ترجمه فارسی چکیده

پیش‌زمینه: ارائه اطلاعات آموزش سلامت مناسب برای مدیریت کلی بیماران مبتلا به سرطان معده حیاتی است، در حالی که روش‌های سنادی چالش‌هایی را نشان می‌دهند. عامل‌های گفتگوی هوش مصنوعی به طور فزاینده‌ای برای استفاده در مراقبت‌های سلامت برای ارائه راهکارهای نوآورانه برای آموزش بیماران پذیرفته شده‌اند. هدف: این مطالعه هدف داشت تا با استفاده از رویکرد پژوهش عملیاتی، یک عامل گفتگوی آموزش سلامت مبتنی بر بدن را برای بیماری سرطان معده توسعه دهد و دقت، قابلیت استفاده و تجربه کاربری آن را در بیماران و ذینفعان مرتبط آزمایش کند. روش‌ها: عامل گفتگوی هدایت‌شده توسط هوش مصنوعی بر اساس مدل پایه OpenMEDLab 2.0 و معماری تولید تقویت‌شده بازیابی (RAG) توسعه یافت. یک رویکرد پژوهش عملیاتی ۴ مرحله‌ای برای پیاده‌سازی این سیستم در یک مرکز سرطان معده در چین اتخاذ شد. در فاز تشخیص و برنامه‌ریزی از مشاهده مشارکتی و مصاحبه‌های عمیق برای بررسی مدل‌های فعلی آموزش سلامت و نیازهای بیماران استفاده شد. در فاز عمل و پیاده‌سازی برای توسعه و اجرای عامل گفتگوی گفتگویی استفاده شد. فاز ارزیابی شامل ۳ دور آزمایش آلفا برای ارزیابی دقت و نرخ برخورد دانش RAG و ۱ دور آزمایش بتا برای ارزیابی قابلیت استفاده و مرتبط بودن محتوا بود. فاز بازتاب شامل مصاحبه‌های عمیق برای به دست آوردن بینش‌ها در مورد تجربه کاربران بود. جمع‌آوری داده‌ها از سپتامبر ۲۰۲۳ تا آوریل ۲۰۲۵ انجام شد. شرکت‌کنندگان شامل بیماران، پرستاران بالینی، مدیران پرستاری، جراحان، روانشناسان بالینی و متخصصان تغذیه بودند. تحلیل موضوعی و آزمون‌های کای-مربع چندگروهی به ترتیب برای داده‌های کیفی و کمی انجام شد. یک مقدار P دوطرفه کمتر از .05 به عنوان معنادار آماری در نظر گرفته شد. نتایج: در طول روند مطالعه، ۴۴ بیمار، ۱۳ پرستار، ۳ مدیر پرستاری، ۲ جراح، ۱ روانشناس بالینی و ۱ متخصص تغذیه جذب شدند. نتایج مطلوبی از نظر دقت و قابلیت استفاده به دست آمد. دقت عامل در ۳ دور به ترتیب ۶۷٪ (۳۷/۵۵)، ۷۱٪ (۴۴/۶۲) و ۸۲٪ (۳۱/۳۸) بود؛ نرخ‌های برخورد دانش RAG به ترتیب ۸۶٪ (۴۷/۵۵)، ۹۸٪ (۶۱/۶۲) و ۱۰۰٪ (۳۸/۳۸) رسید. تفاوت‌های معنادار (P<.۰۱) در نرخ‌های برخورد دانش RAG مشاهده شد. میانگین امتیاز پرسشنامه قابلیت استفاده ربات گفتگوی ۹۱.۹ (انحراف معیار ۳.۶) بود، در حالی که میانگین امتیاز مرتبط بودن محتوا ۳.۷۵ (انحراف معیار ۰.۹) بود. سه موضوع تجربه کاربری شناسایی شد: کاربردی بودن percepated، آسانی استفاده و قصد استفاده، که پتانسیل کاهش بار کاری کارکنان و تقویت آموزش بیماران را نشان می‌دهد. نتیجه‌گیری: این مطالعه بینش‌هایی در مورد اینکه چگونه رویکرد پژوهش عملیاتی می‌تواند در توسعه و ارزیابی قابلیت استفاده یک عامل گفتگوی آموزش سلامت سرطان معده اطلاع‌رسانی کند، ارائه داد و همچنین ارزش تکنولوژی RAG را نشان داد. ارزیابی‌ها و بهبودهای اضافی برای تأیید اثربخشی و ایمنی مورد نیاز است.

متن کامل اصلی