Bu Yazımızda Neler Var :
Kendi Kendine Öğretilen Yapay Zekanın İnsan Beyniyle Pek Çok Ortak Noktası Olabilir
Yapay zeka Sinir ağları neyin önemli olduğunu anlamak için kendi kendine denetimli öğrenmeyi kullanabilir. Bu süreç insanların da aynı şeyi yapmasına yardımcı olabilir.
ON YILDIR, en etkileyici yapay zeka sistemlerinin birçoğu büyük bir etiketli veri envanteri kullanılarak öğretilmektedir. Örneğin bir yapay sinir ağını bir tekiri bir kaplandan doğru bir şekilde ayırt edebilecek şekilde “eğitmek” için bir görüntü “tekir kedi” veya “kaplan kedi” olarak etiketlenebilir. Bu strateji hem olağanüstü başarılı hem de ne yazık ki yetersiz olmuştur.
Misyonu, matematik, fizik ve yaşam bilimlerindeki araştırma gelişmelerini ve trendleri ele alarak halkın bilim anlayışını geliştirmek olan Simons Vakfı.
Bu tür “denetimli” eğitim, insanlar tarafından zahmetli bir şekilde etiketlenen verileri gerektirir ve sinir ağları genellikle etiketleri minimum ve bazen yüzeysel bilgilerle ilişkilendirmeyi öğrenerek kestirme yollara başvurur. Örneğin, bir sinir ağı bir inek fotoğrafını tanımak için çimenlerin varlığını kullanabilir, çünkü inekler genellikle tarlalarda fotoğraflanır.
Berkeley’deki California Üniversitesi’nde bilgisayar bilimcisi olan Alexei Efros, “Tüm dönem boyunca derse gelmeyen ve finalden bir gece önce ders çalışan lisans öğrencileri gibi bir algoritma nesli yetiştiriyoruz” dedi. “Materyali gerçekten öğrenmiyorlar ama sınavda başarılı oluyorlar.”
Dahası, hayvan ve makine zekasının kesişimiyle ilgilenen araştırmacılar için bu “denetimli öğrenme” biyolojik beyinler hakkında ortaya koyabilecekleri açısından sınırlı olabilir. İnsanlar da dahil olmak üzere hayvanlar öğrenmek için etiketlenmiş veri setleri kullanmazlar. Çoğunlukla çevreyi kendi başlarına keşfederler ve bunu yaparken dünya hakkında zengin ve sağlam bir anlayış kazanırlar.
Şimdi bazı hesaplamalı sinirbilimciler, insan etiketli verilerle çok az veya hiç eğitilmemiş sinir ağlarını keşfetmeye başladılar. Bu “kendi kendine denetimli öğrenme” algoritmaları, insan dilini modellemede ve son zamanlarda görüntü tanımada son derece başarılı olduklarını kanıtladılar. Son çalışmalarda, kendi kendine denetimli öğrenme modelleri kullanılarak oluşturulan memeli görsel ve işitsel sistemlerinin hesaplamalı modelleri, beyin işleviyle denetimli öğrenme muadillerine göre daha yakın bir uyum göstermiştir. Bazı sinirbilimcilere göre, yapay ağlar beynimizin öğrenmek için kullandığı gerçek yöntemlerden bazılarını ortaya çıkarmaya başlıyor gibi görünüyor.
Kusurlu Denetim
Yapay sinir ağlarından esinlenen beyin modelleri yaklaşık 10 yıl önce, AlexNet adlı bir sinir ağının bilinmeyen görüntüleri sınıflandırma görevinde devrim yarattığı sıralarda ortaya çıktı. Bu ağ, tüm sinir ağları gibi, yapay nöron katmanlarından, yani birbirleriyle bağlantı kuran ve güçleri ya da “ağırlıkları” değişebilen hesaplama birimlerinden oluşuyordu. Bir sinir ağı bir görüntüyü doğru sınıflandıramazsa, öğrenme algoritması nöronlar arasındaki bağlantıların ağırlıklarını güncelleyerek bir sonraki eğitim turunda bu yanlış sınıflandırma olasılığını azaltıyor. Algoritma, ağın hata oranı kabul edilebilir derecede düşük olana kadar bu işlemi tüm eğitim görüntüleriyle birçok kez tekrarlar ve ağırlıkları değiştirir.
Aynı dönemde sinirbilimciler, AlexNet ve halefleri gibi sinir ağlarını kullanarak primat görsel sisteminin ilk hesaplamalı modellerini geliştirdiler. Birliktelik umut verici görünüyordu: Örneğin, maymunlara ve yapay sinir ağlarına aynı görüntüler gösterildiğinde, gerçek nöronların ve yapay nöronların aktivitesi ilgi çekici bir karşılıklılık gösterdi. Bunu yapay işitme ve koku algılama modelleri izledi.
Ancak alan ilerledikçe, araştırmacılar denetimli eğitimin sınırlarını fark etti. Örneğin 2017’de, o zamanlar Almanya’daki Tübingen Üniversitesi’nde bilgisayar bilimcisi olan Leon Gatys ve meslektaşları bir Ford Model T’nin fotoğrafını çekti, ardından fotoğrafın üzerine bir leopar derisi deseni yerleştirerek tuhaf ama kolayca tanınabilir bir görüntü oluşturdu. Önde gelen bir yapay sinir ağı orijinal görüntüyü doğru bir şekilde Model T olarak sınıflandırdı, ancak değiştirilmiş görüntüyü bir leopar olarak kabul etti. Dokuya odaklanmıştı ve bir arabanın (ya da bir leoparın) şeklini anlamamıştı.
Öz denetimli öğrenme stratejileri bu tür sorunlardan kaçınmak için tasarlanmıştır. Bu yaklaşımda insanlar verileri etiketlemez. İsviçre’nin Basel kentindeki Friedrich Miescher Biyomedikal Araştırma Enstitüsü’nde hesaplamalı sinirbilimci olan Friedemann Zenke, “etiketler verinin kendisinden gelir” diyor. Kendi kendini denetleyen algoritmalar esasen verilerde boşluklar yaratır ve sinir ağından boşlukları doldurmasını ister. Örneğin büyük dil modeli olarak adlandırılan bir modelde, eğitim algoritması sinir ağına bir cümlenin ilk birkaç kelimesini gösterecek ve ondan bir sonraki kelimeyi tahmin etmesini isteyecektir. İnternetten toplanan devasa bir metin külliyatı ile eğitildiğinde, modelin dilin sözdizimsel yapısını öğrendiği ve etkileyici bir dilbilimsel yetenek sergilediği görülüyor – hepsi de harici etiketler veya denetim olmadan.
Benzer bir çaba bilgisayarla görme alanında da devam ediyor. 2021’in sonlarında Kaiming He ve meslektaşları, 2016’da Efros’un ekibi tarafından öncülük edilen bir tekniği temel alan “maskeli otomatik kodlayıcılarını” ortaya çıkardılar. Kendi kendine denetimli öğrenme algoritması, görüntüleri rastgele maskeleyerek her birinin neredeyse dörtte üçünü gizliyor. Maskelenmiş otomatik kodlayıcı, maskelenmemiş kısımları gizli temsillere (bir nesne hakkında önemli bilgiler içeren sıkıştırılmış matematiksel tanımlamalar) dönüştürüyor. (Bir görüntü söz konusu olduğunda, gizli temsil, diğer şeylerin yanı sıra görüntüdeki bir nesnenin şeklini yakalayan matematiksel bir açıklama olabilir). Bir kod çözücü daha sonra bu temsilleri tekrar tam görüntülere dönüştürür.
Kendi kendine denetimli öğrenme algoritması, maskelenmiş görüntüleri tam sürümlerine dönüştürmek için kodlayıcı-kod çözücü kombinasyonunu eğitir. Gerçek görüntüler ile yeniden yapılandırılanlar arasındaki farklar, öğrenmesine yardımcı olmak için sisteme geri beslenir. Bu süreç, sistemin hata oranı uygun şekilde düşük olana kadar bir dizi eğitim görüntüsü için tekrarlanır. Bir örnekte, eğitilmiş maskeli otomatik kodlayıcıya daha önce görülmemiş ve neredeyse yüzde 80’i gizlenmiş bir otobüs görüntüsü gösterildiğinde, sistem otobüsün yapısını başarılı bir şekilde yeniden oluşturdu.
Efros, “Bu çok ama çok etkileyici bir sonuç” dedi.
Bunun gibi bir sistemde oluşturulan gizli temsiller, önceki stratejilerin içerebileceğinden çok daha derin bilgiler içeriyor gibi görünmektedir. Sistem örneğin bir arabanın ya da bir leoparın şeklini öğrenebilir, sadece desenlerini değil. Efros, “Ve bu gerçekten de kendi kendine denetimli öğrenmenin temel fikridir – bilginizi aşağıdan yukarıya doğru oluşturursunuz” dedi. Sınavları geçmek için son dakika çalışmasına gerek yok.
Kendi Kendini Denetleyen Beyinler
Bazı sinirbilimciler bunun gibi sistemlerde nasıl öğrendiğimizin yankılarını görüyorlar. McGill Üniversitesi ve Quebec Yapay Zeka Enstitüsü Mila’da hesaplamalı sinirbilimci olan Blake Richards, “Bence beynin yaptığı şeyin yüzde 90’ının kendi kendine denetimli öğrenme olduğuna şüphe yok” dedi. Biyolojik beyinlerin, tıpkı kendi kendini denetleyen bir öğrenme algoritmasının bir görüntüdeki veya bir metin parçasındaki boşluğu tahmin etmeye çalışması gibi, bir nesnenin hareket ederken gelecekteki konumunu veya bir cümledeki bir sonraki kelimeyi sürekli olarak tahmin ettiği düşünülmektedir. Ve beyinler hatalarından da kendi kendilerine öğrenirler – beynimizin geri bildiriminin sadece küçük bir kısmı, esasen “yanlış cevap” diyen harici bir kaynaktan gelir.
Örneğin, insanların ve diğer primatların görsel sistemlerini düşünün. Bunlar tüm hayvan duyu sistemleri arasında en iyi çalışılmış olanlardır, ancak sinirbilimciler neden iki ayrı yol içerdiklerini açıklamakta zorlanmışlardır: nesneleri ve yüzleri tanımaktan sorumlu olan ventral görsel akım ve hareketi işleyen dorsal görsel akım (sırasıyla “ne” ve “nerede” yolları).
Richards ve ekibi, bir cevaba işaret eden kendi kendini denetleyen bir model oluşturdu. İki farklı sinir ağını birleştiren bir yapay zekayı eğittiler: ResNet mimarisi olarak adlandırılan birincisi görüntüleri işlemek için tasarlanmıştı; tekrarlayan ağ olarak bilinen ikincisi ise bir sonraki beklenen girdi hakkında tahminlerde bulunmak için bir dizi önceki girdiyi takip edebiliyordu. Ekip, birleşik yapay zekayı eğitmek için bir videodan 10 karelik bir dizi ile başladı ve ResNet’in bunları tek tek işlemesine izin verdi. Tekrarlayan ağ daha sonra 11. karenin gizli temsilini tahmin ederken, sadece ilk 10 kareyi eşleştirmedi. Kendi kendini denetleyen öğrenme algoritması tahmini gerçek değerle karşılaştırdı ve sinir ağlarına tahmini daha iyi hale getirmek için ağırlıklarını güncelleme talimatı verdi.
Richards’ın ekibi, tek bir ResNet ile eğitilen bir yapay zekanın nesne tanımada iyi olduğunu, ancak hareketi kategorize etmede iyi olmadığını buldu. Ancak tek ResNet’i ikiye bölerek iki yol oluşturduklarında (toplam nöron sayısını değiştirmeden), yapay zeka birinde nesneler için, diğerinde ise hareket için temsiller geliştirerek bu özelliklerin aşağı yönde kategorize edilmesini sağladı – tıpkı beynimizin muhtemelen yaptığı gibi.
Yapay zekayı daha fazla test etmek için ekip, Seattle’daki Allen Beyin Bilimi Enstitüsü’ndeki araştırmacıların daha önce farelere gösterdikleri bir dizi videoyu gösterdi. Primatlar gibi farelerin de durağan görüntüler ve hareket için özelleşmiş beyin bölgeleri vardır. Allen araştırmacıları, hayvanlar videoları izlerken fare görsel korteksindeki nöral aktiviteyi kaydettiler.
Richards’ın ekibi burada da yapay zeka ve canlı beyinlerin videolara tepki verme biçimlerinde benzerlikler buldu. Eğitim sırasında, yapay sinir ağındaki yollardan biri farenin beyninin ventral, nesne algılayan bölgelerine daha benzer hale gelirken, diğer yol harekete odaklanan dorsal bölgelere benzer hale geldi.
Richards, sonuçların görsel sistemimizin iki özel yola sahip olduğunu gösterdiğini çünkü bunların görsel geleceği tahmin etmeye yardımcı olduğunu; tek bir yolun yeterince iyi olmadığını söyledi.
İnsan işitme sistemi modelleri de benzer bir hikaye anlatıyor. Haziran ayında, Meta AI’da araştırmacı bilim insanı olan Jean-Rémi King liderliğindeki bir ekip, sesi gizli temsillere dönüştürmek için bir sinir ağı kullanan Wav2Vec 2.0 adlı bir yapay zekayı eğitti. Araştırmacılar bu temsillerden bazılarını maskeleyerek transformatör adı verilen başka bir bileşen sinir ağını besliyor. Eğitim sırasında transformatör maskelenmiş bilgileri tahmin ediyor. Bu süreçte tüm yapay zeka, sesleri gizli temsillere dönüştürmeyi öğreniyor – yine etiketlere gerek yok. Ekip, ağı eğitmek için yaklaşık 600 saatlik konuşma verisi kullandı, “bu da yaklaşık olarak bir çocuğun ilk iki yıllık deneyiminde elde edeceği miktara denk geliyor” diyor King.
Sistem eğitildikten sonra araştırmacılar ona İngilizce, Fransızca ve Mandarin dillerinde sesli kitaplardan bölümler dinlettiler. Araştırmacılar daha sonra yapay zekanın performansını, beyinleri bir fMRI tarayıcısında görüntülenirken aynı ses parçalarını dinleyen ve üç dili anadili olarak konuşan 412 kişiden alınan verilerle karşılaştırdı. King, sinir ağının ve insan beyinlerinin, gürültülü ve düşük çözünürlüklü fMRI görüntülerine rağmen, “sadece birbirleriyle ilişkili olmakla kalmayıp, aynı zamanda sistematik bir şekilde ilişkili olduklarını” söyledi: YZ’nin ilk katmanlarındaki aktivite birincil işitsel korteksteki aktivite ile uyumlu iken, YZ’nin en derin katmanlarındaki aktivite beyindeki daha yüksek katmanlardaki, bu durumda prefrontal korteksteki aktivite ile uyumludur. Richards, “Bu gerçekten çok güzel bir veri” dedi. “Kesin değil, ancak dili öğrenme şeklimizin büyük ölçüde bir sonraki söylenecek şeyleri tahmin etmeye çalışmak olduğunu gösteren bir başka ikna edici kanıt.”
Tedavi Edilmemiş Patolojiler
Herkes ikna olmuş değil. Massachusetts Teknoloji Enstitüsü’nde hesaplamalı sinirbilimci olan Josh McDermott, hem denetimli hem de kendi kendine denetimli öğrenmeyi kullanarak görme ve işitsel algı modelleri üzerinde çalışmıştır. Laboratuvarında “metamer” adını verdiği, bir insan için anlaşılmaz bir gürültüden ibaret olan sentezlenmiş görsel ve işitsel sinyaller tasarladı. Ancak yapay bir sinir ağı için metamerler gerçek sinyallerden ayırt edilemez görünüyor. Bu durum, sinir ağının daha derin katmanlarında oluşan temsillerin, kendi kendine denetimli öğrenmeyle bile, beynimizdeki temsillerle eşleşmediğini göstermektedir. McDermott, bu kendi kendine denetimli öğrenme yaklaşımlarının “tüm bu etiketlere ihtiyaç duymadan çok sayıda tanıma davranışını destekleyebilecek temsilleri öğrenebilmeniz anlamında bir ilerleme olduğunu” söyledi. “Ancak hala denetimli modellerin birçok patolojisine sahipler.”
Algoritmaların kendileri de daha fazla çalışmaya ihtiyaç duyuyor. Örneğin, Meta AI’nin Wav2Vec 2.0’ında, AI yalnızca birkaç on milisaniye değerinde ses için gizli temsilleri tahmin ediyor – bir kelime bir yana, algısal olarak farklı bir gürültü çıkarmak için gereken süreden daha az. King, “Beynin yaptığına benzer bir şey yapmak için yapılması gereken pek çok şey var” dedi.
Beyin işlevini gerçekten anlamak, kendi kendine denetimli öğrenmeden daha fazlasını gerektirecektir. Bir kere, beyin geri besleme bağlantılarıyla doludur, mevcut modellerde ise bu tür bağlantılar çok azdır. Bir sonraki adım, yüksek oranda tekrarlayan ağları eğitmek için kendi kendine denetimli öğrenmeyi kullanmak – zor bir süreç – ve bu tür ağlardaki aktivitenin gerçek beyin aktivitesiyle nasıl karşılaştırıldığını görmek olacaktır. Diğer önemli adım ise, kendi kendini denetleyen öğrenme modellerindeki yapay nöronların aktivitesini bireysel biyolojik nöronların aktivitesiyle eşleştirmek olacaktır. King, “Umarım gelecekte sonuçlarımız tek hücreli kayıtlarla da doğrulanır” dedi.
Beyinler ve kendi kendini denetleyen öğrenme modelleri arasında gözlemlenen benzerlikler diğer duyusal görevler için de geçerliyse, bu, beyinlerimizin yapabildiği sihrin bir şekilde kendi kendini denetleyen öğrenmeyi gerektirdiğinin daha da güçlü bir göstergesi olacaktır. King, “Çok farklı sistemler arasında sistematik benzerlikler bulursak, bu belki de bilgiyi akıllı bir şekilde işlemenin çok fazla yolu olmadığını gösterir” dedi. “En azından, üzerinde çalışmak istediğimiz güzel hipotez bu.”
Orijinal hikaye, Simons Vakfı’nın editoryal olarak bağımsız bir yayını olan ve misyonu matematik, fizik ve yaşam bilimlerindeki araştırma gelişmelerini ve trendleri ele alarak halkın bilim anlayışını geliştirmek olan Quanta Magazine’den izin alınarak yeniden basılmıştır.
kaynakça wiredcom
