Deepfake, Konuşmaları Metin Evrakından Değiştirebilecek

Deepfake uygulamaları son periyotta sık sık karşımıza çıkıyor. En son Cardi B ile Will Smith’in birleştirildiği görüntü, internette büyük ilgi görmüştü.

Yeni bir algoritma, yüz/kafa bölgesinin çekildiği görüntülerde konuşmacının cümlelerini değiştirmeyi, konuşmasından sözcükler çıkarmayı ya da konuşmasına sözcükler eklemeyi mümkün hale getiriyor. Üstelik bunu yapmak için yalnızca bir metin düzenleme programı kâfi oluyor.

Stanford Üniversitesi, Max Planck Enformasyon Enstitüsü, Princeton Üniversitesi ve Adobe Research iştirakinde gerçekleştirilen çalışma, tekrar tekrar yapılacak değerli tekrar çekimlerin önüne geçmeyi hedefliyor.

Algoritma, bir yüzü 40 dakika kadar inceleyerek yeni manzaraları ve sesi nasıl ekleyeceğine dair gözlemler yapıyor. İncelemeler sırasında konuşmacının kullandığı kelamların de metin evrakı halinde programa verilmesi gerekiyor. Bu mühletten sonra, istenilen sözcüklerin eklenip çıkarıldığı bir görüntü hazırlamak mümkün oluyor. Metni düzenlediğiniz vakit, algoritma sırf konuşmayı değil, 3 boyutlu yüz modellemesini yeni sözcüklere nazaran değiştiriyor. Düzenlenen görsel, fotoğraf gerçekliğinde kaplamalar ile gerçeğinden ayırt edilemeyecek hale geliyor. Program şimdilik kendi kendine ses belgesi üretemiyor ve o bahiste yardıma gereksinim duyuyor.

Takım, yeni deepfake algoritmasının etik olmayan kullanım potansiyelinden haberdar. Dünya şimdi bir deepfake skandalı ile yüzleşmemiş olsa da önümüzdeki periyotta bilgi kirliliği hedefiyle kullanılması pek mümkün gözüküyor. İnsanların aklına birinci gelen, şahısların söylemediği kelamları söylemişler üzere yansıtacak mümkün uygulamalar oluyor. Öte yandan, sahiden söylenmiş ya da yapılmış olan şeylerin “deepfake” damgası yemesi de bir öbür mümkünlük.

Birinci olarak, uygulamayı kullanan şahıslar bu uygulamada elde ettiği imgelerin üzerine deppfake olduğu ibaresini koyabilecek. Natürel ki makus niyetli şahısların “ben yaptım” diyerek uydurma imgeler oluşturacağını kimse düşünmüyor. Grubun temel önerisi, öbür araştırmacılar ile birlikte daha uygun isimli inceleme yazılımları geliştirmeye odaklanıyor. Bunun için de blok zincir tabanlı daimi kayıtlar ve/veya dijital parmak izi sistemleri devreye giriyor. Hali hazırda deepfake manzaraları belirlemek ve ayırt etmek için de yazılımlar geliştiriliyor.

Aşağıda yer alan görüntüde, yeni algoritmanın nasıl çalıştığını kendi gözlerinizle görebilirsiniz.