MIT’den Uydurma Haberleri Otomatik Tespit Edecek Sistem

Makûs maksatlı bireyler, uydurma haberler üretmek ve okuyucuları gayeleri doğrultusunda kandırmak için giderek daha gelişmiş sistemler kullanıyorlar. OpenAI’nin insan müelliflerini taklit etmeye çalışan GPT-2 modeli de dâhil olmak üzere AI (yapay zekâ) tabanlı metin üretme sistemleri bu hususta büyük rol oynuyor. Araştırmacılar, yapay olarak üretilen metni tespit etmek için araçlar geliştirmeye devam ediyorlar. Bununla birlikte MIT'den yeni bir araştırma, bu dedektörlerin çalışmasında temel bir kusur olabileceğini öne sürüyor.

Klâsik olarak bu araçlar, beşerler tarafından mı yoksa botlar tarafından mı yazıldığını belirlemek için bir metnin yazı tarzını izler. Beşerler tarafından yazılan metnin her vakit gerçek olduğunu ve botlar tarafından oluşturulan metnin her vakit uydurma olduğunu varsayarlar. Bir makine, kimi kullanımlar için gerçek metin üretse bile bu algoritma tarafından düzmece sayılır. Ayrıyeten araştırma, saldırganların insan tarafından üretilen metni manipüle etmek için araçlar kullanabileceğini vurgulamaktadır. Araştırmacılar, manasını değiştirmek ve insan tarafından üretilen metni bozmak için GPT-2 modelini kullanmak üzere yapay zekâyı eğittiler.

Metnin bir makine tarafından mı yoksa bir insan tarafından mı üretildiğini belirlemek yerine bir metnin gerçek olup olmadığına bakılmalı:

MIT öğrencisi ve araştırmanın başyazarı olan Tal Schuster, bir makine mi yoksa bir insan tarafından mı üretildiğini belirlemek yerine bir metnin gerçek sahteciliğini tespit etmenin kıymetli olduğunu söyledi ve ekledi “Metnin makineler tarafından oluşturulup oluşturulmadığına bakılmaksızın içerikte 'sahte haberler' karakteristiğinin nitekim sahtekârlık olduğunu düşünmemiz gerekir. Metin üreticileri belli bir gündeme sahip değil. Bu teknolojinin nasıl kullanılacağına karar vermek kullanıcıya kalmış.”

MIT profesörü Regina Barzilay’a nazaran bu araştırma, mevcut haber sınıflandırıcılarının muteber olmadığını vurguluyor. Bu kusurların üstesinden gelmek için tıpkı araştırmacı kümesi, dünyanın en büyük 'gerçekleri denetim eden' veritabanı olan Fact Extraction And Verification'ı (FEVER) yeni tespit sistemleri geliştirmek için kullandı.

Araştırma grubu, FEVER aracılığıyla geliştirilen modelin data setinin önyargısı nedeniyle yanılgılara yatkın olduğunu tespit etti:

Schuster, olumsuz sözlerin birçok vakit model tarafından yanlış sayıldığını söyledi. İnsan tarafından oluşturulan sözlerin birçok ‘yapmadı’ ve ‘henüz’ formunda ve çoğunlukla yanlış tabirlerde görünüyor. Bununla birlikte takım, FEVER'i parçalayarak bir data oluşturduğunda tespit modelinin doğruluğu %86'dan %58'e düştü. Modelin rastgele bir dış delil olmadan tezin lisanını dikkate aldığı söylendi. Dolayısıyla bir dedektörün gelecekteki bir olayı yanlış olarak kabul edebileceği bir ihtimal var zira dış kaynakları doğrulama sürecinin bir kesimi olarak kullanmamış.

Takım, durum denetimini mevcut savunma sistemleriyle birleştirerek yeni yanlış bilgilendirme çeşitlerini tespit etme modelini geliştirmeyi umuyor.