Dikkat mekanizması tabanlı geliştirilmiş Wave-U-Net mimarisi kullanılarak konuşma iyileştirme
Tezin Türü: Yüksek Lisans
Tezin Yürütüldüğü Kurum: Erzincan Binali Yıldırım Üniversitesi, Fen Bilimleri Enstitüsü, Türkiye
Tezin Onay Tarihi: 2026
Tezin Dili: Türkçe
Öğrenci: Ali Gündüz
Danışman: İsmail Akgül
Özet:
Gürültülü ortamlarda konuşma sinyallerinin kalitesini ve konuşmanın anlaşılabilirliğini artırmayı amaçlayan konuşma iyileştirme, derin öğrenmeyle hızla gelişen bir araştırma alanıdır. Ancak literatürdeki çalışmalar ağırlıklı olarak İngilizce veri setleri için geliştirilmiş; Türkçe veriye odaklanan çalışmalar oldukça sınırlı kalmıştır. Bu tezde, kanal dikkati ve öz-dikkat mekanizmalarıyla güçlendirilmiş geliştirilmiş Wave-U-Net mimarisi önerilmiş ve model, zaman ile frekans alanını birlikte denetleyen çok bileşenli bir kayıp fonksiyonu (EnhancedLoss) ile eğitilmiştir. Çalışma üç aşamada yürütülmüştür: önce model bileşenlerinin katkısı Türkçe veri üzerinde ablasyon analiziyle incelenmiş; ardından model İngilizce veri seti (VCTK), Türkçe veri seti (TSCD) ve bu iki veri setinin birleşiminden oluşan karma veri seti üzerinde, eğitim/doğrulama bölmeleri üç kez rastgele yeniden oluşturularak ve sabit test kümesi üzerinde yedi nesnel metrik (PESQ, STOI, ESTOI, SI-SNR, CSIG, CBAK, COVL) üzerinden değerlendirilmiştir. Ablasyon sonuçları, dikkat modüllerinin ancak algısal kayıp fonksiyonuyla birlikte eğitildiğinde katkı sağladığını göstermiştir. Model üç koşulun tamamında ölçülebilir iyileşme üretmiş; PESQ değeri Türkçe’de 1,48’den 3,54’e, İngilizce’de 1,29’dan 2,69’a ve karma koşulda 1,36’dan 3,04’e yükselmiştir. Karma koşulda kalite metrikleri tek dilli koşullara yakın kalmıştır. Bulgular, Türkçe veri üzerinde geliştirilen modelin İngilizce ve çok dilli veriye aktarılabilirliğini desteklemekte ve tek bir modelin çok dilli konuşma iyileştirme çalışmalarında da kullanılabileceğini göstermektedir.