Konuşmacılar
Açıklama
Yapılan çalışmada işitme engelli insanlar için iletişim kolaylığı sağlama amaçlı; konvolüsyonel sinir ağları ve uzun kısa süreli bellek kullanılarak, derin öğrenme teknikleri yardımıyla video ile işaret dilinden Türkçe kelimelere sınıflandırma yapılması hedeflenmiştir.
Çalışma; AUTSL veri seti ile gerçekleştirilmiştir. Veri setinde; zamirler, aile bireyleri, yiyecekler, nesneler, haftanın günleri gibi günlük hayatta kullanılan 226 kelimenin işaretini barındıran 35000’den fazla renkli video bulunmaktadır. Farklı uzunluktaki videolar ön işlemden geçirilerek sabit uzunluğa ve normalize edilmiş duruma getirilmiştir. Özellik çıkarımı için ön eğitimli MobileNetV2 ağı ve yeterli doğruluk oranına ulaşılamadığı için Mediapipe tarafından geliştirilen Hand Landmarks Detection yapısı ile iki farklı seçenek kullanılmıştır. Özellik çıkarımı videodaki tüm kareler için tekrarlanarak Kare Sayısı x Özellik Vektörü şekline getirilmiştir. Daha sonrasında; birbirine bağlı veriler işlenmesi için çift yönlü uzun-kısa süreli bellek yapısı, videolardaki önemli karelerin etkisini gözetmek için oluşturulan geçici dikkat yapısı, ezberlemeyi önlemek için seyreltme katmanı ve sınıflandırma için tam bağlantılı katman kullanılmıştır. 226 kelimeye karşılık indeksleri çıkış olarak kullanan softmax sınıflandırıcı ile ağ oluşturulmuştur.
Yapılan testlerde doğruluk değerleri; özellik çıkarımı için MobileNetV2 kullanılan ağda %20’yi aşamamışken Mediapipe çözümüyle özellik çıkarılan ağda %83’e ulaşmıştır. Test işlemleri için Tkinter aracı kullanılarak grafiksel arayüz oluşturulmuştur.