Impact of visual mouth image presentation on speech perception in noise in normal hearing subjects and cochlear implant users.

چکیده اصلی

This study investigated the impact of visual speech cues on speech perception in noise and subjective listening effort in cochlear implant (CI) users compared with normal-hearing (NH) individuals. Furthermore, the study compared visual information presented either by a computer-generated avatar or by video recordings of a real speaker. Thirteen NH participants and twelve bilateral CI users completed the Oldenburg Sentence Test (OLSA) in six conditions: auditory‑only, visual‑only, and audiovisual presentations using either video recordings (female speaker) or a computer‑animated avatar (male speaker). Speech reception thresholds (SRTs) in noise and subjective listening effort (LE) were measured. Visual‑only lipreading performance and self‑assessed lipreading skills were also recorded. Video‑based audiovisual presentation significantly improved speech perception compared with audio‑only presentation (NH: 1.6 dB; CI: 3.5 dB). CI users demonstrated substantially higher lipreading scores than NH participants (51% vs. 28%), and lipreading performance strongly correlated with self‑reported ability. Despite SRT improvements, audiovisual presentation yielded only marginal reductions in listening effort for CI users and none for NH participants. In contrast, the computer‑animated avatar provided no measurable audiovisual benefit for speech perception or listening effort in either group. Real‑speaker video recordings considerably enhance audiovisual speech perception in both NH individuals and CI users, particularly benefiting CI listeners. However, reductions in listening effort were minimal, underscoring the dissociation between speech perception and perceived listening effort. Incorporating audiovisual measures may improve ecological validity in clinical assessment of CI outcomes.

ترجمه فارسی چکیده

این مطالعه اثرات هوشیاری‌های بصری گفتار را بر شناسایی گفتار در سکوت و تلاش شنیداری ذهنی در کاربران ایمپلنت کلاویکولار (CI) در مقایسه با افراد دارای شنوایی طبیعی (NH) بررسی کرد. همچنین، مطالعه اطلاعات بصری ارائه شده توسط یک آواتار تولید شده توسط کامپیوتر یا ضبط‌های ویدیویی سخنگوی واقعی را مقایسه کرد. سیزده مشارکت‌کننده با شنوایی طبیعی و دوازده کاربر دوطرفه CI آزمون جملات اولنبورگ (OLSA) را در شش شرایط انجام دادند: صرفاً شنیداری، صرفاً بصری و ارائه‌های صوتی-بصری با استفاده از ضبط‌های ویدیویی (سخنگوی زن) یا یک آواتار متحرک کامپیوتری (سخنگوی مرد). آستانه‌های دریافت گفتار (SRT) در سکوت و تلاش شنیداری ذهنی (LE) اندازه‌گیری شدند. عملکرد صرفاً بصری خواندن لب و مهارت‌های خودارزیابی خواندن لب نیز ثبت شد. ارائه صوتی-بصری مبتنی بر ویدیو به طور قابل توجهی شناسایی گفتار را نسبت به ارائه صرفاً صوتی بهبود داد (NH: 1.6 dB؛ CI: 3.5 dB). کاربران CI نمرات خواندن لب بسیار بالاتری از مشارکت‌کنندگان NH نشان دادند (51٪ در برابر 28٪) و عملکرد خواندن لب به طور قوی با توانایی خودگزارش‌شده همبستگی داشت. با وجود بهبود SRT، ارائه صوتی-بصری تنها کاهش‌های حاشیه‌ای در تلاش شنیداری برای کاربران CI و هیچ کاهشی برای مشارکت‌کنندگان NH ایجاد نکرد. در مقابل، آواتار متحرک کامپیوتری هیچ مزیت صوتی-بصری قابل اندازه‌گیری برای شناسایی گفتار یا تلاش شنیداری در هیچ دو گروهی ارائه نکرد. ضبط‌های ویدیویی سخنگوی واقعی شناسایی گفتار صوتی-بصری را در هر دو فرد با شنوایی طبیعی و کاربران CI به طور قابل توجهی افزایش داد، که به طور خاص از شنوندگان CI سود می‌برد. با این حال، کاهش‌های تلاش شنیداری بسیار محدود بود، که بر جدایی بین شناسایی گفتار و تلاش شنیداری احساسی تأکید می‌کند. ادغام معیارهای صوتی-بصری ممکن است اعتبار اکولوژیک را در ارزیابی بالینی نتایج CI بهبود بخشد.

متن کامل اصلی