Learning from pandemics: Feature selection and clustering for robust digital disease nowcasting.

چکیده اصلی

Disease now-casting increasingly relies on non-traditional data, such as online activity, which offer fast, inexpensive insights but are often noisy, unstructured, and influenced by behavioral confounders. Models using search engine data have frequently suffered from overfitting and unstable performance. However, pandemics may help distinguish true disease signals from behavioral noise, as both tend to surge during outbreaks. We propose a hybrid approach to improve prediction that combines model evaluation with behavioral insight. We apply simple supervised and unsupervised methods to different flu and COVID-19 datasets, using the 2009 H1N1 and 2020 COVID-19 pandemics as training periods. In both cases, selecting a curated subset of search terms improved model performance, reduced overfitting, and increased stability, consistently outperforming models that used search terms indiscriminately. These results suggest that feature curation informed by behavioral insights can enhance now-casting beyond purely statistical approaches. Our method offers a scalable and adaptable framework for integrating digital epidemiology into public health surveillance.

ترجمه فارسی چکیده

پیش‌بینی سریع و دقیق بیماری‌ها (now-casting) به‌تدریج به داده‌های غیرسنتی، مانند فعالیت آنلاین، وابسته می‌شود که بینش‌های سریع و ارزان‌قیمتی ارائه می‌دهند اما اغلب پر از نویز، ساختار‌یافته نیستند و تحت تأثیر عوامل رفتاری قرار دارند. مدل‌های استفاده از داده‌های موتورهای جستجو اغلب دچار بیش‌برازش و عملکرد ناپایدار شده‌اند. با این حال، پاندمی‌ها ممکن است به تفکیک سیگنال‌های بیماری‌ای واقعی از نویز رفتاری کمک کنند، زیرا هر دو در طول شیوع افزایش می‌یابند. ما یک رویکرد ترکیبی برای بهبود پیش‌بینی پیشنهاد می‌کنیم که مدل ارزیابی را با بینش رفتاری ترکیب می‌کند. ما روش‌های ساده نظارت‌شده و بدون نظارت را بر روی مجموعه‌های داده‌های آنفولانزا و کووید-۱۹ اعمال می‌کنیم و از پاندمی‌های ۲۰۰۹ H1N1 و ۲۰۲۰ کووید-۱۹ به عنوان دوره‌های آموزشی استفاده می‌کنیم. در هر دو مورد، انتخاب یک زیرمجموعه منتخب از اصطلاحات جستجو عملکرد مدل را بهبود داد، بیش‌برازش را کاهش داد و پایداری را افزایش داد و همواره بر مدل‌هایی که اصطلاحات جستجو را بدون تفکیک استفاده می‌کردند برتری داشت. این نتایج نشان می‌دهد که هدایت انتخاب ویژگی‌ها با بینش‌های رفتاری می‌تواند پیش‌بینی سریع و دقیق بیماری‌ها را فراتر از رویکردهای صرفاً آماری ارتقا دهد. روش ما یک چارچوب مقیاس‌پذیر و قابل تطبیق برای ادغام اپیدمیولوژی دیجیتال در نظارت عمومی سلامت ارائه می‌دهد.

متن کامل اصلی