Comparative evaluation of ChatGPT and gemini responses to patient-oriented questions on breast cancer.

چکیده اصلی

BACKGROUND: Breast cancer, the most common malignancy among women, remains a major global public health concern. With the rapid growth of artificial intelligence-based language models, it is essential to evaluate their potential roles in patient education. This study compared ChatGPT and Gemini in responding to patient-oriented questions about breast cancer and its surgical treatment regarding scientific accuracy, clarity, and unnecessary detail. METHODS: Forty frequently asked questions were collected from Turkish online sources. Both models were queried under identical conditions on August 13, 2025, and the responses were anonymized for blinded evaluation. Four general surgeons experienced in breast surgery independently assessed each response using a five-point Likert scale across three domains: scientific accuracy, clarity, and unnecessary detail. RESULTS: Response lengths were recorded and compared. ChatGPT achieved significantly higher median scores than Gemini in scientific accuracy [4.75 (3.50-5.00) vs. 4.25 (3.50-5.00); p < 0.001], clarity [4.75 (3.50-5.00) vs. 4.25 (3.25-5.00); p = 0.005], and unnecessary detail [5.00 (5.00-5.00) vs. 4.50 (3.50-5.00); p < 0.001]. The overall median score was 4.83 (4.08-5.00) for ChatGPT and 4.33 (3.50-4.92) for Gemini (p < 0.001). Gemini's responses were significantly longer (244 ± 84 vs. 170 ± 47 words; p < 0.001). CONCLUSION: Both models demonstrated acceptable overall performance. However, ChatGPT's higher scores and shorter, more focused responses indicate that it may be a more efficient tool for addressing breast cancer-related patient questions. In their current form, these models should not be used for diagnostic or clinical decision-making purposes. AI-generated health information should be used only under expert supervision and for educational or supportive purposes.

ترجمه فارسی چکیده

سرطان پستان شایع‌ترین بدخیمی در زنان است و یک نگرانی عمده سلامت عمومی جهانی محسوب می‌شود. با رشد سریع مدل‌های زبانی مبتنی بر هوش مصنوعی، ارزیابی نقش‌های بالقوه آن‌ها در آموزش بیماران ضروری است. این مطالعه ChatGPT و Gemini را در پاسخ به سوالات بیمارمحور در مورد سرطان پستان و درمان جراحی آن از نظر دقت علمی، شفافیت و جزئیات غیرضروری مقایسه کرد. چهل سوال متداول از منابع آنلاین ترکیبی جمع‌آوری شد. هر دو مدل در شرایط یکسان در ۱۳ اوت ۲۰۲۵ پرسیده شدند و پاسخ‌ها برای ارزیابی کور ناشناس شدند. چهار جراح عمومی متخصص جراحی پستان به طور مستقل هر پاسخ را با استفاده از مقیاس لیکرت ۵ نمره‌ای در سه حوزه: دقت علمی، شفافیت و جزئیات غیرضروری ارزیابی کردند. طول پاسخ‌ها ثبت و مقایسه شد. ChatGPT نمرات میانی معنی‌دار بالاتری نسبت به Gemini در دقت علمی، شفافیت و جزئیات غیرضروری کسب کرد. ChatGPT پاسخ‌های کوتاه‌تر و متمرکز‌تری داشت. هر دو مدل عملکرد کلی قابل قبولی نشان دادند. ChatGPT ممکن است ابزار کارآمدتری برای پاسخگویی به سوالات بیماران مرتبط با سرطان پستان باشد. این مدل‌ها در حال حاضر نباید برای تشخیص یا تصمیم‌گیری بالینی استفاده شوند.

متن کامل اصلی