Rewiring AGI - Neuroscience is All You Need
- Kaan Bıçakcı
- 30 Tem
- 3 dakikada okunur
AGI ve derin öğrenme hakkında bir süre önce yayınlamış olduğumuz pre-print makalemizi (perspective paper) bu yazıda özetleyeceğim. Makaleye buradan ulaşabilirsiniz.
Introduction
Makalemizi “Rewiring AGI—Neuroscience Is All You Need” başlığıyla yayınladık. Mevcut derin öğrenme modellerinin (“reasoning” LLM’ler dahil) pattern recognition konusunda son derece iyi olduğunu; ancak gerçek yapay genel zeka (AGI) elde etme konusunda temelde sınırlı kaldığını ileri sürüyoruz.
Genel Bakış
ML topluluğu interpolation ve extrapolation terimlerini çok kez yeniden tanımladı (hatta twitterda tartışma çıkmıştı) ve bunun sonucunda bence orijinal anlamlarını yitirdiler. Özetle, bu terimler daha önce karşılaşılmamış veriler dışındaki yeni durumlara genelleme yeteneğini ifade eder.
Bu modellerin bazen kendinden emin bir şekilde yanlış cevaplar üretebildiğini ve bu hataların sonraki bir sürümde sihirli bir şekilde giderildiğini biliyoruz ve gördük. Birçok faktör bu değişimlere katkıda bulunsa da esas nokta şudur: Model belirli bir input pattern üzerinde eğitilmediyse yanıtları öngörülemez olabilir.
Aşağıdaki maddeler geçerliyse bir modelin yeni bir input üzerinde interpolation gerçekleştirdiğini söylüyoruz:
Yeni input, modelin içsel temsili içinde (örneğin feature space veya decision tree leaves içerisinde) net ve iyi tanımlanmış bir yerel komşuluğa sahiptir.
Modelin output’ları bu komşuluk sınırları içinde tutarlı ve kararlı kalır.
Yeni input, modelin eğitildiği bölgelerin çok uzağında değil; aksine eğitim verilerinin kapsadığı data manifold alanlarına yakın ya da onlarla örtüşür.
Bazı kişiler mevcut modellerin orijinal ve hiç olmayan novel fikirler ürettiğini iddia ediyor. Oysa gerçekte bu modeller, önceki verilere dayanarak sonraki token’ı tahmin etmek üzere tasarlanmıştır. Tasarım gereğince de bu modeller verilen girdiyi eğitim verileriyle en tutarlı biçimde yapacak şekilde optimize edilmiştir. Aslında buna recalling (olan bir konsepti ısıtıp tekrardan oluşturmak) denir.
Benchmarklar
Gerçek bir AGI yeteneklerini göstermek için şu anda kullanılan yapay benchmarklara ihtiyaç duymayacaktır. Benchmarklar kullanılsa bile, bunlar Moravec’s Paradox fikirleriyle entegre edilmelidir.
Makalemizden bir alıntı:
Mevcut benchmark’ların güvenilirliği, LLM’lerin eğitim verisetlerinin belirsizliği nedeniyle zedelenmiş olup potansiyel data contamination konusunda endişeler doğurmaktadır. Ayrıca, benchmark’lar hala erken aşamalarındadır ve bir AGI modelinin yeteneklerini kapsamlı ve sağlam bir biçimde değerlendirebilmek için önemli ölçüde iyileştirme gerektirmektedir.
Ana Önerilerimiz ve Düşüncelerimiz
Bu bölümde önerilerimizi özetleyeceğim.
AGI geliştirmek zekanın doğal olarak nasıl ortaya çıktığını ve verileri nasıl işlediğini anlamayı hedeflemelidir. Bu yaklaşımda uyarlanabilirlik (adaptability), verimlilik (efficiency) ve farklı bağlamlarda öğrenme yeteneği ön plana çıkar.
Bir örnek olarak örümcekleri düşünelim (bence harika canlılar). Küçük beyinlerine rağmen bu 3D karmaşık dünyada (evet gerçek dünya gerçekten karmaşık!) hayatta kalabiliyorlar. Ayrıca bir örümceği başka bir yere, mesela iki blok ötede bir alana taşıdığınızda, orada da hayatta kalabiliyor. Bu durum, örümceklerin çevrelerindeki her detayı ezberlemek yerine (ki insan beyni de bunu yapmaz) çevresel genelleme (generalise) yeteneğine sahip olduğunu gösterir. Başka bir deyişle, beyinler kapsamlı bilgi depolamak yerine genel ilkeleri kullanarak yolunu bulur.
Özetle, şuanki modellerin aksine AGI:
Kompleks (3D dünyamız gibi) ve
Değişen çevresel ortamlarda
çalışmalıdır.
AGI geliştirme sürecinde neuroscience bulguları yol gösterici olmalıdır, zira basit organizmalar bile sınırlı kaynaklarla dikkat çekici yetenekler sergiler. AGI geliştirmeye yönelik ana ilkeler şunları içermelidir (bunlarla sınırlı olmamak kaydıyla tabi ki):
Neuroscience temelleri üzerine inşa ederek ölçekten ziyade verimli yapıları önceliklendirmek.
Salt karmaşıklık (sheer complexity) yerine generalisation (genelleme) ve uyum sağlama yeteğini vurgulamak.
Gerçek dünya uyumunu (real-world adaptability) yansıtan veri sızıntısı içermeyen benchmarklar kullanmak.
Biyolojik sistemlerde görülen modular ve hiyerarşik organizasyonu taklit etmek.
Sınırlı veriyle öğrenmeyi sağlamak ve reasoning için abstraction desteği sunmak.
Genel olarak AGI geliştirme:
Temel mekanizmalar
Değişen koşullara adaptasyon ve
Biyolojik prensipleri izlemeye
odaklı iterative bir süreçtir. Örneğin mevcut mimarileri hala birkaç unsurdan yoksun olarak değerlendirebiliriz:
Temporal dynamics: İnsan beyni neural spikes zamanlamasını kullanır.
Efektif Veri & Enerji Kullanımı
Daha önce öğrenilen veri üzerine inşa edilerek (önce bilgiyi de kullanarak) gerçek zamanlı uyarlama
Bu boşluklar göz önüne alındığında, ilk AGI sistemlerinin birçok kişi tarafından “aptal” olarak algılanacağı görüşündeyiz çünkü gelişmiş zeka seviyelerine ulaşmadan önce öğrenmeye ve keşfetmeye zaman ayırmaları gerekecektir.
Sonuç
Bu yazıda makalemizin genel çerçevesini sundum. Şu anki çalışmamız neuroscience ilkelerinden esinlenen bir model geliştirmeye odaklanıyor ve bulgularımızı ile fikirlerimizi yakında yayınlamayı planlıyoruz.
