Japon araştırmacılar, fMRI ve yapay zekayı birleştirerek insanların zihinlerindeki görsel imgeleri yazılı metne dönüştüren “zihin betimleme” tekniğini geliştirdi.
Japonya’da yapılan yeni bir bilimsel çalışma, insanların zihinlerinde canlandırdığı görsel imgeleri yazılı metne dönüştürebilen yenilikçi bir yapay zeka tekniğinin geliştirildiğini ortaya koydu. “Zihin betimleme” adı verilen yöntemin, beyin aktivitelerinin çözülmesinde ve iletişim kısıtlılığı yaşayan hastaların desteklenmesinde çığır açabileceği belirtiliyor.
Beyin aktiviteleri fMRI ile ölçüldü, yapay zeka ile metne dönüştürüldü
Araştırma, Nippon Telegraph and Telephone (NTT) şirketinin İletişim Bilimleri Laboratuvarı’nda görev yapan araştırmacı Horikawa Tomoyasu tarafından yürütüldü. Çalışmaya yaşları 22 ila 37 arasında değişen, ana dili Japonca olan 6 gönüllü katıldı.
Deney kapsamında katılımcılara:
- Nesneler,
- Doğa manzaraları,
- İnsan hareketleri,
- Günlük aktiviteler
gibi çeşitli içeriklere sahip 2.180 kısa video gösterildi. Katılımcıların bu videoları izlerken oluşan beyin aktiviteleri, fonksiyonel manyetik rezonans görüntüleme (fMRI) cihazıyla kaydedildi.
Zihinsel imgeler önce sayısal dizilere, sonra cümlelere dönüştürüldü
Horikawa’nın geliştirdiği teknik iki aşamalı bir yapay zeka süreci kullanıyor:
- Videoların metinsel açıklamaları, büyük dil modelleri tarafından sayısal dizilere dönüştürüldü.
- Basit yapay zeka modelleri, bu dizileri fMRI sırasında kaydedilen beyin aktivitesi haritalarıyla eşleştirmek üzere eğitildi.
Bu sayede katılımcılar videoları izlerken veya yalnızca hatırlayıp zihinsel imgeler oluştururken dahi, sistem onların zihnindeki görüntüyü cümlelere dökebildi.
Dil merkezinden bağımsız çalışması büyük bir avantaj sunuyor
Horikawa, tekniğin beynin dil merkezinden bağımsız bir şekilde görsel işlemleri çözdüğünü belirterek şu değerlendirmeyi yaptı:
“Yöntemimiz, beynin görsel bilgiyi nasıl kodladığını çözerek nesneleri, mekânları, eylemleri ve ilişkileri ayrıntılı biçimde betimleyen metinler üretebiliyor.”
Bu özellik, nörodejeneratif hastalıklar nedeniyle konuşma yetisini kaybeden kişilerin iletişim kurmasına yeni bir yol açabileceği için önemli bir adım olarak değerlendiriliyor.
Çalışma Science Advances dergisinde yayımlandı
“Zihin betimleme” tekniğine ilişkin bulgular, bilim dünyasının önde gelen dergilerinden Science Advances’ta yayımlandı. Çalışmanın, beyin-bilgisayar arayüzleri, iletişim desteği, nörolojik rehabilitasyon ve bilişsel sinirbilim alanlarında yeni araştırmalara kapı aralaması bekleniyor.