Sunum videosunu izlemek için tıklayınız.
Tarih: 13 Eylül 2024
Etkinlik Türü: Seminer
Format: 100% çevrim içi
Başlık: Derin Öğrenmede Uzun Erimli Etkileşimlerin Modellenmesi: Dikkat (Attention) ve Dönüştürücüler (Transformers)
Doğal dil anlama alanındaki dizi (sequence) modelleme görevlerinde birbirlerine uzak olan dizi elemanlarının etkileşiminin sağlanması önemli bir problemdir. Uzun erimli etkileşim olarak adlandırılan bu problem için öz yinelemeli ağlar (recurrent neural networks) kullanılagelmiştir. Özyinelemeli ağlar bu problem için teorik olarak bir çözüm sağlasa da pratikte uzun erimli etkileşimlerin modellenmesi kısıtlayıcı bir faktör olmuştur. Dikkat (attention) mekanizması etkili bir çözüm olarak ortaya çıkmıştır. Ardından, dikkat mekanizmasının bir dizinin kendi içinde uygulanması ile elde edilen öz-dikkat (self-attention) mekanizması ve bu mekanizmayı etkili bir biçimde kullanan dönüştürücü (transformer) ağ mimarisi dizi modelleme problemlerinde, paralel eğitime olanağı sağlamış ve performansı ciddi miktarda ilerletmiştir. Dönüştürücüler, sadece doğal dil anlama alanında değil görüntü ve video anlama görevlerinde de önceki modellere göre yüksek performans vermektedir. ChatGPT ve benzeri gibi büyük dil modelleri veya CLIP gibi görü-dil modelleri dönüştürücü mimarisine dayanmaktadır. Bu seminerde dikkat ve öz dikkat mekanizmaları tanıtılacak ve öz dikkati kullanan dönüştürücü mimarisi anlatılacaktır. Dinleyicilerin yapay sinir ağları konusunda temel bilgilere sahip oldukları varsayılacaktır.
Dil: Türkçe
Süre: 1 saat
Konuşmacı: Doç. Dr. Emre Akbaş (ODTÜ, Bilgisayar Mühendisliği Bölümü)
Acknowledgment
This event was supported by the EuroCC 2 project. This project has received funding from the European High-Performance Computing Joint Undertaking (JU) under grant agreement No 101101903. The JU receives support from the Digital Europe Programme and Germany, Bulgaria, Austria, Croatia, Cyprus, Czech Republic, Denmark, Estonia, Finland, Greece, Hungary, Ireland, Italy, Lithuania, Latvia, Poland, Portugal, Romania, Slovenia, Spain, Sweden, France, Netherlands, Belgium, Luxembourg, Slovakia, Norway, Türkiye, Republic of North Macedonia, Iceland, Montenegro, Serbia.
EuroCC Türkiye Social Media Accounts::
https://twitter.com/EuroCC_Turkey
https://www.linkedin.com/company/eurocc-turkey
contact: ncc@ulakbim.gov.tr
