01 Kasım 2023 (Nanowerk Haberleri) Şaşırtıcı derecede kısa bir zaman aralığında, yapay zeka akademik bir girişimden pratik bir araca dönüştü. DALL·E gibi görsel modeller, kişinin hoşuna gidebilecek herhangi bir tarzda görüntüler oluşturabilirken, Chat GPT gibi büyük dil modelleri (LLM'ler) makaleler oluşturabilir, bilgisayar kodları yazabilir ve seyahat programları önerebilir. İstendiğinde kendi hatalarını bile düzeltebilirler.
Araştırmacı Fabian Offert, Chat GPT gibi büyük dil modellerinin yeteneklerini ve sınırlamalarını araştırıyor ve bunların kapsamlı bir hesaplama 'dünya modeline' sahip olduğu fikrine meydan okuyor.
Chat GPT, işlevsel bir Markov zincirini kodlayıp çıktısını kelime düzeyinde simüle edebilse de, çıktıyı harf harf simüle etmekte zorlanır ve bu da anlayışındaki boşlukları gösterir.
Offert, yapay zeka yeteneklerinin araştırılmasının, bu modellerin gelişen doğası nedeniyle kontrollü bir deneyden ziyade "niteliksel bir görüşme" olduğunu savunuyor.
Araştırmacı, bu teknolojilerle ilgili soruların doğası gereği giderek felsefi hale gelmesi nedeniyle, yapay zekayı anlamada beşeri bilimler ve sosyal bilimlerin artan rolünü vurguluyor.
Yapay zekanın makale yazımından astronomiye kadar çeşitli alanları etkilediği göz önüne alındığında Offert, bu modellerin arkasındaki mekanizmaları anlamanın hem epistemolojik hem de pratik nedenlerden dolayı kritik olduğu konusunda ısrar ediyor.
Bir yapay zekanın ekranda gösterdiği şey, bizimkinden oldukça farklı olabilecek, dünyanın içsel temsilini yansıtır. (Midjourney tarafından hazırlanan bir örnek: “Denklem ve sembol bulutları içeren bir bilgisayar) “İnsanlar büyük dil modellerinin ve özellikle de Chat GPT'nin, aşağıdakiler de dahil olmak üzere bazı şeylerin 'dünya modeli' olarak adlandırılan bir modele sahip olduğunu iddia ediyorlar. hesaplama, "dedi dijital beşeri bilimler alanında yardımcı doçent Offert. Yani, kodlama kelimelerinin sıklıkla bir arada görünmesi yalnızca yüzeysel bilgi değil, aynı zamanda hesaplamanın kendisinin daha kapsamlı anlaşılmasıdır.
Basit bir bilgisayar programı bile, daha önce gelenlere dayalı olarak bir sonraki jetonu tahmin etmek için olasılığı kullanan basit bir algoritma olan Markov zinciriyle ikna edici metinler üretebilir. Çıktının niteliği referans metnine ve belirtecin boyutuna bağlıdır (örn. bir harf, bir kelime veya bir cümle). Uygun parametreler ve eğitim kaynağıyla bu, eğitim örneğinin stilini taklit eden doğal metin üretebilir.
Ancak LLM'ler yalnızca sıradaki bir sonraki kelimeyi tahmin ediyor olsalardı beklemeyeceğiniz yetenekler sergilerler. Örneğin yeni, işlevsel bilgisayar kodları üretebilirler. Bilgisayar dilleri gibi resmi diller de konuştuğumuz doğal dillerden çok daha katıdır ve daha iyi tanımlanmıştır. Bu, bütünsel olarak gezinmeyi zorlaştırır çünkü kodun ayrıştırılması için tamamen doğru olması gerekir; kıpırdayacak yer yok. Yüksek Lisans'lar, basit Markov zincirleri ve tahmine dayalı algoritmaların sahip olmadığı bir şekilde bağlamsal belleğe sahip gibi görünüyor. Ve bu hafıza, kod yazma yetenekleri de dahil olmak üzere bazı yeni davranışlarının ortaya çıkmasına neden oluyor.
Offert, Chat GPT'den birkaç görevi yerine getirmesini isteyerek beynini seçmeye karar verdi. İlk olarak, Alexander Puşkin'in "Eugene Onegin" romanına dayanan metin üretecek bir Markov zincirini kodlamasını istedi. Birkaç yanlış başlangıçtan ve biraz iknadan sonra yapay zeka, kitabın kelime düzeyinde Markov zinciri yaklaşımı için çalışan bir Python kodu üretti.
Daha sonra, Markov zincirinin çıktısını basitçe simüle etmesini istedi. Chat GPT gerçekten istatistiksel tahminin ötesinde bir hesaplama modeline sahipse Offert, bir programın çıktısını onu çalıştırmadan tahmin edebilmesi gerektiği sonucuna vardı. Yapay zekanın Markov zincirini kelime ve kelime öbeği düzeyinde simüle edebildiğini buldu. Ancak Markov zincirinin çıktısını harf harf tahmin edemedi. "Biraz tutarlı bir mektup salatası almalısın, ama almıyorsun" dedi.
Bu sonuç Offert'a oldukça tuhaf geldi. Chat GPT'nin programlama konusunda daha incelikli bir anlayışa sahip olduğu açıktır çünkü ilk görev sırasında bir Markov zincirini başarıyla kodlamıştır. Bununla birlikte, eğer gerçekten bir hesaplama kavramına sahip olsaydı, o zaman harf düzeyinde bir Markov zincirini tahmin etmek onun için oldukça kolay olurdu. Bu, sonucu kelime düzeyinde tahmin etmekten çok daha az hesaplama, hafıza ve çaba gerektiriyor ki bunu da başardı. Bununla birlikte, LLM'lerin tasarım gereği kelime üretmede iyi olması nedeniyle kelime düzeyinde tahminde bulunabilmesinin başka yolları da var.
Offert, "Bu sonuca dayanarak Chat GPT'nin dünya çapında bir hesaplama modeline sahip olmadığını söyleyebilirim" dedi. "Hesaplamanın tüm özelliklerine erişime sahip eski güzel bir Turing makinesinin simülasyonu değil." Offer'ın bu makaledeki amacı yalnızca soruları gündeme getirmekti, onlara cevap vermek değil. Sadece programla sohbet ediyordu ki bu bilimsel bir araştırma için uygun bir yöntem değildi. Subjektiftir, kontrolsüzdür, tekrarlanamaz ve program bir günden diğerine güncellenebilir. "Bu aslında kontrollü bir deneyden ziyade niteliksel bir görüşmeye benziyor" diye açıkladı. İsterseniz sadece kara kutuyu araştırın.
Offer, son birkaç yılda ortaya çıkan bu yeni oluşumların daha iyi anlaşılmasını istiyor. "Benim ilgim gerçekten epistemolojik" dedi. “Bunlardan ne bilebiliriz? Peki bu şeyler hakkında ne bilebiliriz?” Tabii ki, bu iki soru ayrılmaz bir şekilde bağlantılıdır.
Bu konular mühendislerin ve bilgisayar bilimcilerin de ilgisini çekmeye başladı. Offert, "Teknik araştırmacıların yapay zeka hakkında sorduğu sorular giderek daha fazla, özünde beşeri bilimlerle ilgili sorular oluyor" dedi. "Bunlar, dünya hakkında bilgiye sahip olmanın ne anlama geldiği ve dünya hakkındaki bilgiyi nasıl temsil ettiğimiz gibi temel felsefi anlayışlarla ilgilidir." Bu nedenle Offert, beşeri bilimler ve sosyal bilimlerin yapay zekanın geliştirilmesinde daha aktif bir rol oynayacağına inanıyor. Rolleri, bu sistemlerin nasıl geliştirildiği, nasıl kullanıldığı ve halkın bunlarla nasıl etkileşim kurduğu konusunda bilgi verecek şekilde genişletilebilir.
Yapay zeka ile insan zekası arasındaki farklar belki de benzerliklerden daha ilgi çekicidir. Offert, "Bu sistemlerin yabancılığı aslında onları ilginç kılıyor" dedi. Örneğin önceki bir makalesinde, yapay zekanın görüntüleri kategorize etme ve tanıma şeklinin bizim bakış açımıza göre oldukça tuhaf olabileceğini ortaya koydu.
Daha önceki bir çalışmada Offert görsel bir modelin perde arkasına baktı. Bu resim güneş gözlüğü konseptine yakındır. (Resim: Fabian Offert) Offer, sonuçta bu modellerin dünyayı nasıl temsil ettiğini ve kararlar aldığını anlamaya çalışıyor. Çünkü dünya hakkında bilgi sahibi olduklarını, bağlantıların eğitim verilerinden derlendiğini garanti ediyor. Epistemolojik ilginin ötesine geçen konu, yapay zekanın motivasyonlarını insan kullanıcılarının motivasyonlarıyla uyumlu hale getirmek için de pratik öneme sahiptir. Chat GPT gibi araçlar daha yaygın olarak kullanıldıkça, önceden ilgisiz olan disiplinleri birbirine yaklaştırıyor. Örneğin astronomide makale yazma ve gürültü giderme artık aynı temel teknolojiye bağlı. Offert'a göre bu, bilgi üretmenin temelde yeni bir yolu olarak teknolojinin kendisine daha ayrıntılı bakmaya başlamamız gerektiği anlamına geliyor. Offert, yapay zeka adli bilimi konusunda Volkswagen Vakfı'ndan üç yıllık bir hibe alarak şu anda makine görsel kültürünü araştırıyor. Görüntü modelleri o kadar büyüdü ki ve o kadar çok veri gördü ki, eğitim materyallerine dayalı olarak kendine özgü özellikler geliştirdiklerini açıkladı. Bu araçlar yaygınlaştıkça tuhaflıkları insan kültürüne geri dönüş yapmaya başlayacak. Sonuç olarak Offert, bu yapay zeka modellerinin altında neler olup bittiğini anlamanın önemli olduğuna inanıyor. "Bu işi yapmak için heyecan verici bir zaman" dedi. "Beş yıl önce bile bunu hayal edemezdim."
Önemli Noktalar
Araştırma
Yapay zeka modelleri giderek daha karmaşık ve her yerde bulunur hale geldikçe, bu varlıkların ne olduğunu, neler yapabildiklerini ve nasıl düşündüklerini anlamak hayati önem taşıyor. Bu modeller giderek insanlara çok benziyor ama yine de bizden çok farklılar. Bu benzersiz kombinasyon, yapay zekayı düşünmeyi ilgi çekici hale getiriyor. Örneğin, büyük yapay zeka modelleri çok büyük miktarda bilgiyle eğitiliyor. Ancak bu verileri ne ölçüde tutarlı bir bilgi sistemi olarak anladıkları açık değil. UC Santa Barbara'dan Fabian Offert, antolojide yer alan kısa bir makalede bu fikri araştırıyor ChatGPT ve diğer Quatschmaschinen – yapay zeka ile sohbetler.
Bir yapay zekanın ekranda gösterdiği şey, bizimkinden oldukça farklı olabilecek, dünyanın içsel temsilini yansıtır. (Midjourney tarafından hazırlanan bir örnek: “Denklem ve sembol bulutları içeren bir bilgisayar) “İnsanlar büyük dil modellerinin ve özellikle de Chat GPT'nin, aşağıdakiler de dahil olmak üzere bazı şeylerin 'dünya modeli' olarak adlandırılan bir modele sahip olduğunu iddia ediyorlar. hesaplama, "dedi dijital beşeri bilimler alanında yardımcı doçent Offert. Yani, kodlama kelimelerinin sıklıkla bir arada görünmesi yalnızca yüzeysel bilgi değil, aynı zamanda hesaplamanın kendisinin daha kapsamlı anlaşılmasıdır.
Basit bir bilgisayar programı bile, daha önce gelenlere dayalı olarak bir sonraki jetonu tahmin etmek için olasılığı kullanan basit bir algoritma olan Markov zinciriyle ikna edici metinler üretebilir. Çıktının niteliği referans metnine ve belirtecin boyutuna bağlıdır (örn. bir harf, bir kelime veya bir cümle). Uygun parametreler ve eğitim kaynağıyla bu, eğitim örneğinin stilini taklit eden doğal metin üretebilir.
Ancak LLM'ler yalnızca sıradaki bir sonraki kelimeyi tahmin ediyor olsalardı beklemeyeceğiniz yetenekler sergilerler. Örneğin yeni, işlevsel bilgisayar kodları üretebilirler. Bilgisayar dilleri gibi resmi diller de konuştuğumuz doğal dillerden çok daha katıdır ve daha iyi tanımlanmıştır. Bu, bütünsel olarak gezinmeyi zorlaştırır çünkü kodun ayrıştırılması için tamamen doğru olması gerekir; kıpırdayacak yer yok. Yüksek Lisans'lar, basit Markov zincirleri ve tahmine dayalı algoritmaların sahip olmadığı bir şekilde bağlamsal belleğe sahip gibi görünüyor. Ve bu hafıza, kod yazma yetenekleri de dahil olmak üzere bazı yeni davranışlarının ortaya çıkmasına neden oluyor.
Offert, Chat GPT'den birkaç görevi yerine getirmesini isteyerek beynini seçmeye karar verdi. İlk olarak, Alexander Puşkin'in "Eugene Onegin" romanına dayanan metin üretecek bir Markov zincirini kodlamasını istedi. Birkaç yanlış başlangıçtan ve biraz iknadan sonra yapay zeka, kitabın kelime düzeyinde Markov zinciri yaklaşımı için çalışan bir Python kodu üretti.
Daha sonra, Markov zincirinin çıktısını basitçe simüle etmesini istedi. Chat GPT gerçekten istatistiksel tahminin ötesinde bir hesaplama modeline sahipse Offert, bir programın çıktısını onu çalıştırmadan tahmin edebilmesi gerektiği sonucuna vardı. Yapay zekanın Markov zincirini kelime ve kelime öbeği düzeyinde simüle edebildiğini buldu. Ancak Markov zincirinin çıktısını harf harf tahmin edemedi. "Biraz tutarlı bir mektup salatası almalısın, ama almıyorsun" dedi.
Bu sonuç Offert'a oldukça tuhaf geldi. Chat GPT'nin programlama konusunda daha incelikli bir anlayışa sahip olduğu açıktır çünkü ilk görev sırasında bir Markov zincirini başarıyla kodlamıştır. Bununla birlikte, eğer gerçekten bir hesaplama kavramına sahip olsaydı, o zaman harf düzeyinde bir Markov zincirini tahmin etmek onun için oldukça kolay olurdu. Bu, sonucu kelime düzeyinde tahmin etmekten çok daha az hesaplama, hafıza ve çaba gerektiriyor ki bunu da başardı. Bununla birlikte, LLM'lerin tasarım gereği kelime üretmede iyi olması nedeniyle kelime düzeyinde tahminde bulunabilmesinin başka yolları da var.
Offert, "Bu sonuca dayanarak Chat GPT'nin dünya çapında bir hesaplama modeline sahip olmadığını söyleyebilirim" dedi. "Hesaplamanın tüm özelliklerine erişime sahip eski güzel bir Turing makinesinin simülasyonu değil." Offer'ın bu makaledeki amacı yalnızca soruları gündeme getirmekti, onlara cevap vermek değil. Sadece programla sohbet ediyordu ki bu bilimsel bir araştırma için uygun bir yöntem değildi. Subjektiftir, kontrolsüzdür, tekrarlanamaz ve program bir günden diğerine güncellenebilir. "Bu aslında kontrollü bir deneyden ziyade niteliksel bir görüşmeye benziyor" diye açıkladı. İsterseniz sadece kara kutuyu araştırın.
Offer, son birkaç yılda ortaya çıkan bu yeni oluşumların daha iyi anlaşılmasını istiyor. "Benim ilgim gerçekten epistemolojik" dedi. “Bunlardan ne bilebiliriz? Peki bu şeyler hakkında ne bilebiliriz?” Tabii ki, bu iki soru ayrılmaz bir şekilde bağlantılıdır.
Bu konular mühendislerin ve bilgisayar bilimcilerin de ilgisini çekmeye başladı. Offert, "Teknik araştırmacıların yapay zeka hakkında sorduğu sorular giderek daha fazla, özünde beşeri bilimlerle ilgili sorular oluyor" dedi. "Bunlar, dünya hakkında bilgiye sahip olmanın ne anlama geldiği ve dünya hakkındaki bilgiyi nasıl temsil ettiğimiz gibi temel felsefi anlayışlarla ilgilidir." Bu nedenle Offert, beşeri bilimler ve sosyal bilimlerin yapay zekanın geliştirilmesinde daha aktif bir rol oynayacağına inanıyor. Rolleri, bu sistemlerin nasıl geliştirildiği, nasıl kullanıldığı ve halkın bunlarla nasıl etkileşim kurduğu konusunda bilgi verecek şekilde genişletilebilir.
Yapay zeka ile insan zekası arasındaki farklar belki de benzerliklerden daha ilgi çekicidir. Offert, "Bu sistemlerin yabancılığı aslında onları ilginç kılıyor" dedi. Örneğin önceki bir makalesinde, yapay zekanın görüntüleri kategorize etme ve tanıma şeklinin bizim bakış açımıza göre oldukça tuhaf olabileceğini ortaya koydu.
Daha önceki bir çalışmada Offert görsel bir modelin perde arkasına baktı. Bu resim güneş gözlüğü konseptine yakındır. (Resim: Fabian Offert) Offer, sonuçta bu modellerin dünyayı nasıl temsil ettiğini ve kararlar aldığını anlamaya çalışıyor. Çünkü dünya hakkında bilgi sahibi olduklarını, bağlantıların eğitim verilerinden derlendiğini garanti ediyor. Epistemolojik ilginin ötesine geçen konu, yapay zekanın motivasyonlarını insan kullanıcılarının motivasyonlarıyla uyumlu hale getirmek için de pratik öneme sahiptir. Chat GPT gibi araçlar daha yaygın olarak kullanıldıkça, önceden ilgisiz olan disiplinleri birbirine yaklaştırıyor. Örneğin astronomide makale yazma ve gürültü giderme artık aynı temel teknolojiye bağlı. Offert'a göre bu, bilgi üretmenin temelde yeni bir yolu olarak teknolojinin kendisine daha ayrıntılı bakmaya başlamamız gerektiği anlamına geliyor. Offert, yapay zeka adli bilimi konusunda Volkswagen Vakfı'ndan üç yıllık bir hibe alarak şu anda makine görsel kültürünü araştırıyor. Görüntü modelleri o kadar büyüdü ki ve o kadar çok veri gördü ki, eğitim materyallerine dayalı olarak kendine özgü özellikler geliştirdiklerini açıkladı. Bu araçlar yaygınlaştıkça tuhaflıkları insan kültürüne geri dönüş yapmaya başlayacak. Sonuç olarak Offert, bu yapay zeka modellerinin altında neler olup bittiğini anlamanın önemli olduğuna inanıyor. "Bu işi yapmak için heyecan verici bir zaman" dedi. "Beş yıl önce bile bunu hayal edemezdim."
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
- PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
- PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
- PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
- Kaynak: https://www.nanowerk.com/news2/robotics/newsid=63981.php
