Fotoğrafları Hem Videoya Dönüştürüp Hem de Seslendirebilen Suni Zekâ Aracı EMO Tanıtıldı
EMO isminde olan yeni bir suni zekâ aracı tanıtıldı. Bu vasıta, fotoğrafları videoya dönüştürebiliyor. Dahası, fotoğraftaki kişileri arzu ettiğiniz sese uygun şekilde konuşturup şarkı bile söyletebiliyor.
Alibaba Group’un Akıllı Bilgisayar Enstitüsü‘nden araştırmacılar Linrui Tian, Qi Wang, Bang Zhang ve Liefeng Bo, suni zekânın seçili metinleri okuyabilmelerini, okudukları metinlere nazaran de yüz ifadelerini akıcı şekilde değiştirebilmelerini elde eden bir suni zekâ olan EMO’yu tanıttı.
Ağız hareketleri, laflara uygun olarak değişiyor
EMO’nun en dikkat çeken yanı, bir fotoğrafı ya da görseli konuşturması değil, bunu icra eden başka oldukça sayıda uygulama görmüştük. Bu suni zekâ aracının en mühim farkı, evvelinde hazırlanmış konfigürasyonun haricinde seslere nazaran de görselleri canlandırabilmesi. Ek olarak ağız hareketleri de laflara uygun olacak şekilde değişiyor. Doğrusu görsel, tam anlamıyla sese uygun olarak videoya dönüştürülüyor.
Bir öteki dikkat çekici özellik ise suni zekâ aracının, ses kaynağına nazaran temposunu ayarlayabilmesi. Sakin sakin konuşma ile rap yapma arasındaki farkı anlayabilen suni zekâ, animasyonlarda da jest ve mimiklerin, ağız hareketlerinin temposunu buna nazaran ayarlıyor. Üstelik suni zekâ, animasyon karakterlerini, suni zekânın oluşturduğu görselleri ya da anime karakterlerini de konuşturmayı başarabiliyor.
Peki iyi mi çalışıyor?
Araştırmacılar, suni zekâ modelinin özünde iki kısımdan oluştuğunu belirtiyor. Bunlardan biri, görseli tanımlayıp referans görselden yola çıkarak hareketli kareleri oluşturuyor. Diğeri ise ses dosyasını tanımlayarak anahtar noktaları belirliyor. Sonrasında da anahtar noktalar ile görseller eşleştiriliyor. Suni zekânın iki de denetim modülü bulunuyor. Bunlardan biri, görseldeki karakterin değişmeden kaldığına güvenli olurken diğeri ise sesi denetim ediyor. Her iki taraftan gelen sonuçlar sonrasında birleştiriliyor.
