Trust in Generative AI for Health Information Consumption and the Effect of Learned Dependency: Randomized Controlled Experimental Study.

چکیده اصلی

BACKGROUND: Generative AI (GenAI) is increasingly used by health information consumers to interpret medical content and support decision-making. Although these systems provide accessible and timely information, they may also produce inaccurate or misleading outputs. Effective use of GenAI, therefore, depends on users' ability to calibrate trust based on information accuracy. However, little is known about how learned dependency on GenAI (the habitual reliance on AI systems for solving problems) influences trust calibration in health information contexts. OBJECTIVE: This study examines how learned dependency on GenAI affects health information consumers' calibration of trust in AI-generated information, and whether text-based visual attention cues (TVCs), such as highlighting critical information in text, mitigate overreliance on incorrect outputs. METHODS: We conducted 2 randomized controlled experiments: the first involved 338 college students, and the second replicated the study with 563 Amazon Mechanical Turk participants. Both studies used a 2 × 2 between-participants design, manipulating (1) information accuracy (correct vs incorrect) and (2) TVCs (text highlight vs no text highlight). Participants evaluated AI-generated health information presented alongside source text. Trust was measured using a multi-item scale, and learned dependency on GenAI was assessed using a validated self-reported measure. Linear regression models were used to examine main and interaction effects. RESULTS: Across both experiments, information accuracy had a significant positive effect on trust, with participants expressing greater trust in correct than in incorrect AI-generated information (experiment 1: B=2.107, 95% CI 1.337-2.878; P<.001 and experiment 2: B=0.203, 95% CI 0.115-0.290; P<.001). Learned dependency was positively associated with trust in both experiments (experiment 1: B=0.277, 95% CI 0.033-0.521; P=.03 and experiment 2: B=0.822, 95% CI 0.715-0.929; P<.001), such that users with greater dependency trusted AI outputs more overall. Critically, the interaction between information accuracy and learned dependency was negative and significant in both experiments (experiment 1: B=-0.399, 95% CI -0.695 to -0.104; P<.001 and experiment 2: B=-0.459, 95% CI -0.577 to -0.340; P<.001), indicating that higher dependency reduces users' sensitivity to information inaccuracy. Text highlighting did not significantly affect trust in either experiment, nor did it moderate the relationship between learned dependency and trust. CONCLUSIONS: This study demonstrates that while users generally trust accurate AI-generated health information more than inaccurate information, higher self-reported learned dependency is associated with weaker trust calibration, predicting greater susceptibility to incorrect outputs. TVCs, such as text highlighting, are insufficient to mitigate this effect. These findings highlight the need for more effective design interventions to support critical evaluation and reduce overreliance on GenAI in health information environments.

ترجمه فارسی چکیده

پس‌زمینه: هوش مصنوعی مولد (GenAI) به طور فزاینده‌ای توسط مصرف‌کنندگان اطلاعات سلامت برای تفسیر محتوای پزشکی و حمایت از تصمیم‌گیری استفاده می‌شود. اگرچه این سیستم‌ها اطلاعات دسترسی‌پذیر و به‌موقع ارائه می‌دهند، ممکن است خروجی‌های نادرست یا گمراه‌کننده تولید کنند. استفاده مؤثر از GenAI به توانایی مصرف‌کنندگان برای تنظیم اعتماد بر اساس دقت اطلاعات بستگی دارد. هدف: این مطالعه بررسی می‌کند که وابستگی یادگرفته شده به GenAI (وابستگی عادتی به سیستم‌های هوش مصنوعی برای حل مسئله) بر تنظیم اعتماد در زمینه‌های اطلاعات سلامت تأثیر می‌گذارد و آیا نشانگرهای توجه بصری مبتنی بر متن (TVCs)، مانند برجسته کردن اطلاعات کلیدی، می‌توانند وابستگی بیش از حد به خروجی‌های نادرست را کاهش دهند. روش‌ها: ما دو آزمایش کنترل شده تصادفی انجام دادیم: اولی شامل ۳۳۸ دانشجوی دانشگاه بود و دومی مطالعه را با ۵۶۳ شرکت‌کننده در مک‌تورک (Amazon Mechanical Turk) تکرار کرد. هر دو مطالعه از یک طراحی بین‌گروهی ۲×۲ استفاده کردند که (۱) دقت اطلاعات (درست vs غلط) و (۲) TVCs (برجسته کردن متن vs بدون برجسته کردن متن) را دستکاری می‌کردند. شرکت‌کنندگان اطلاعات سلامت تولید شده توسط هوش مصنوعی را در کنار متن منبع ارزیابی کردند. اعتماد با استفاده از مقیاس چندآیتمی و وابستگی یادگرفته شده با استفاده از یک معیار خودگزارش‌شده معتبر سنجیده شد. مدل‌های رگرسیون خطی برای بررسی اثرات اصلی و تعاملی استفاده شد. نتایج: در هر دو آزمایش، دقت اطلاعات تأثیر مثبت معناداری بر اعتماد داشت، به طوری که شرکت‌کنندگان اعتماد بیشتری به اطلاعات تولید شده توسط هوش مصنوعی درست نسبت به اطلاعات غلط ابراز کردند. وابستگی یادگرفته شده به طور مثبت با اعتماد در هر دو آزمایش مرتبط بود، به طوری که کاربران با وابستگی بیشتر به طور کلی خروجی‌های هوش مصنوعی را بیشتری اعتماد می‌کردند. به‌طور حیاتی، تعامل بین دقت اطلاعات و وابستگی یادگرفته شده منفی و معنادار در هر دو آزمایش بود، که نشان می‌دهد وابستگی بیشتر حساسیت کاربران به نادرستی اطلاعات را کاهش می‌دهد. برجسته کردن متن تأثیر معناداری بر اعتماد در هیچ‌کدام از آزمایش‌ها نداشت و همچنین رابطه بین وابستگی یادگرفته شده و اعتماد را تعدیل نکرد. نتیجه‌گیری: این مطالعه نشان می‌دهد که در حالی که کاربران به طور کلی اطلاعات سلامت تولید شده توسط هوش مصنوعی درست را نسبت به اطلاعات غلط بیشتر اعتماد می‌کنند، وابستگی بیشتر خودگزارش‌شده با تنظیم اعتماد ضعیف‌تر مرتبط است و پیش‌بینی می‌کند که افراد بیشتری در برابر خروجی‌های نادرست آسیب‌پذیر باشند. TVCs مانند برجسته کردن متن برای کاهش این اثر کافی نیستند.

متن کامل اصلی