A segmentation-guided CNN-Vision transformer feature fusion framework for multi-class breast ultrasound image classification.

چکیده اصلی

Breast ultrasound (BU) imaging is widely used for detecting breast abnormalities because it is cost-effective, non-invasive, and suitable for dense breast tissue. However, multi-class classification of BU images is considered a challenging task due to low contrast, speckle noise, and overlapping visual patterns between benign and malignant tumours. To address this issue, we develop a segmentation-guided CNN and Vision Transformer based feature fusion framework for efficient multi-class BU image classification. The framework first applies a lesion segmentation model to identify the region of interest by using Fusion-Enhanced Transformer (FET) Unet model. The FET Unet model uses CNNs and Swin Transformers integrated and constructs a UNet-like architecture. In the second step, CNN-based and Vision Transformer-based features are extracted from the segmented lesion regions. In the third step, the CNN and Vision Transformer features are fused to generate a robust feature representation. A deep neural network classifier comprising four dense layers with 1,024, 512, 256, and 128 neurons, respectively, followed by a softmax output layer, is then developed using the fused features to classify breast ultrasound images into benign, malignant, and normal categories. The proposed framework was evaluated using the publicly available Breast Ultrasound Images (BUSI) dataset, which contains 780 ultrasound images collected from women aged 25-75 years, including 437 benign, 210 malignant, and 133 normal cases. Numerical results show that the proposed framework showed 95.11% of accuracy, 95.66% of sensitivity and 97.63% of specificity and F1 score of 0.944644. Based on the classification accuracy, the effectiveness of the proposed hybrid framework is demonstrated in comparison with previously reported methods for multi-class breast ultrasound image classification.

ترجمه فارسی چکیده

سونوگرافی پستان (BU) به دلیل هزینه‌پذیری، غیرتهاجمی بودن و مناسب بودن با بافت‌های چرب پستان، برای تشخیص abnormalities پستان استفاده می‌شود. اما طبقه‌بندی چندکلاسه تصاویر BU چالش‌برانگیز است به دلیل کنتراست کم، نویز لکه‌ای و الگوهای بصری همپوشانی بین تومورهای خوش‌خیم و بدخیم. برای حل این مشکل، چارچوبی مبتنی بر ادغام ویژگی‌های شبکه عصبی کانولوشنی و ویژون ترنسفورمر هدایت‌شده توسط قطعه‌بندی توسعه داده شد. این چارچوب ابتدا از یک مدل قطعه‌بندی آسیب برای شناسایی منطقه علاقه‌مند با استفاده از مدل UNet FET استفاده می‌کند. سپس ویژگی‌های مبتنی بر CNN و ویژون ترنسفورمر از مناطق آسیب قطعه‌بندی شده استخراج می‌شوند. در مرحله سوم، ویژگی‌های CNN و ویژون ترنسفورمر ادغام می‌شوند تا یک نمایه ویژگی پایدار تولید شود. سپس یک طبقه‌بندهای شبکه عصبی عمیق شامل چهار لایه متراکم با ۱۰۲۴، ۵۱۲، ۲۵۶ و ۱۲۸ نورون، به دنبال لایه خروجی softmax، با ویژگی‌های ادغام‌شده توسعه یافت تا تصاویر سونوگرافی پستان را به کلاس‌های خوش‌خیم، بدخیم و عادی طبقه‌بندی کند. این چارچوب با استفاده از مجموعه داده BUSI ارزیابی شد که شامل ۷۸۰ تصویر سونوگرافی از زنان ۲۵ تا ۷۵ ساله، شامل ۴۳۷ مورد خوش‌خیم، ۲۱۰ مورد بدخیم و ۱۳۳ مورد عادی بود. نتایج عددی نشان داد که این چارچوب دقت ۹۵.۱۱٪، حساسیت ۹۵.۶۶٪ و ویژگی‌شناسی ۹۷.۶۳٪ و امتیاز F1 0.944644 را نشان داد.

متن کامل اصلی