CCC, bu yılki AAAS Yıllık Konferansında üç bilimsel oturumu destekledi ve şahsen katılamamanız durumunda, her oturumun özetini vereceğiz. Bu hafta panelistlerin oturumdaki sunumlarından öne çıkanları özetleyeceğiz, “Büyük Dil Modelleri: Yardımcı Asistanlar, Romantik Ortaklar mı, Dolandırıcılar mı?Bu panelin moderatörlüğünde Dr.Maria Gini, CCC Konsey Üyesi ve Minnesota Üniversitesi'nde Bilgisayar Bilimi ve Mühendisliği profesörü Dr.Ece Kamar, Microsoft Research'te AI Frontiers Genel Müdürü, Dr.Hal Daumé III, Maryland Üniversitesi'nde Bilgisayar Bilimleri profesörü ve Dr.Jonathan May, Güney Kaliforniya Üniversitesi Bilgi Bilimleri Enstitüsü'nde Bilgisayar Bilimleri profesörü.

Büyük Dil Modelleri bugün toplumdaki konuşmaların ön sıralarında yer alıyor ve jüri, kendilerini çevreleyen abartılı reklamı karşılayıp karşılamadıkları konusunda kararsız. Bu AAAS oturumunun panelistleri Yüksek Lisans'ın olanaklarını, zorluklarını ve potansiyelini ele aldı.

İlk panelist Dr. Ece Kamar (Microsoft Research) idi. Yapay zekanın mevcut durumunu "Aşama Geçişi" olarak tanımladı. Sektörde yapay zekadaki değişiklikleri ve derin öğrenme modellerindeki çok az kişinin 2024'te de devam edeceğini tahmin ettiği hızlı büyümeyi gören biri olarak benzersiz bir bakış açısı sağladı.

Büyümenin nedeni, LLM'lerin üzerinde eğitim aldığı veri miktarındaki artış ve transformatör adı verilen daha büyük mimaridir. Dr. Kamar'ın grafikte paylaştığı ilginç bir görüş, modellerin başlangıçta yalnızca belirli bir görev için eğitilmiş olmaları nedeniyle bu kadar hızlı ölçeklenmesidir; güvenilir bir şekilde gerçekleştirebilecekleri bir görev. ChatGPT, bir modelin hesaba kattığı parametre sayısı da dahil olmak üzere yeterince büyük ölçeklendirirseniz, modellerin, özellikle aynı görevleri tamamlamak üzere eğitilmiş bir modele benzer bir performansla görevleri tamamlamaya başlayabileceğini gösterdi.

LLM aşama geçişinin tanımı budur: modellerin artık belirli bir görev için özel olarak eğitilmesine gerek yoktur, ancak genel olarak eğitilip birçok görevi gerçekleştirebilir. Ve bu yeteneklerin büyümesinin yavaşladığına dair hiçbir işaret yok.

Dr. Kamar, GPT-4'e erken erişime sahipti ve onu test etmek için harcadığı yoğun süre boyunca, ölçek ve verilerle birlikte gelen önemli gelişmelerden ve farklı görevleri eş zamanlı olarak gerçekleştirebilmesinden etkilendi.

Bu Yüksek Lisans Derecelerinin geleceğinde neler var? Dr. Kamar, Yüksek Lisans'ların insan dilinin ötesine geçerek makine dilini öğreneceğini ve iki dil arasında çeviri yapabileceğini öngörüyor. Bu, girdi ve çıktıdaki modalite yeteneklerini geliştirecek ve bu da modellerin yalnızca dil üretmesini değil aynı zamanda davranışlardaki eylemleri ve tahminleri de üretmesine yol açabilecek.

Daha sonra Dr. Kamar, hesaplamada meydana gelen önemli faz geçişini detaylandırdı. Sistemler bugün çok farklı şekilde geliştiriliyor ve bu gelişme, şu anda sadece yüzeyini çizdiğimiz yeni bir bilgi işlem paradigması yaratmayı gerektirecek. Bilgisayarlarla etkileşim şeklimiz önümüzdeki yıllarda çok farklı görünecek ve bu, İnsan-Bilgisayar Etkileşimi'nin (HCI) yeniden düşünülmesini gerektirecek.

Bir diğer değişiklik ise insanların ileriye doğru çalışma şeklidir. Microsoft, yapay zekanın desteğiyle yazılan kod satırları açısından çalışanların verimliliğinin iki katına çıkabileceğine dair çalışmalar yürüttü. Bu inanılmaz bir başarı, ancak bu teknolojinin çalışma şekli ve zekasının nereden geldiği büyük ölçüde bilinmiyor, dolayısıyla bu alanda pek çok araştırma sorusu var.

Yüksek Lisans'ın bu gibi olası kötüye kullanımına ilişkin de pek çok soru var. Adil olma, farklı demografik riskler ve diğer daha ciddi sonuçlarla ilgili endişeler var. Bilimsel keşif için büyük bir potansiyel varken aynı zamanda büyük bir zarar potansiyeli de var; örneğin ebeveynleri çocuklarına aşı yaptırmamaya ikna etmek, bir çocuğu kötü bir şey yapmaya ikna etmek ya da birini dünyanın düz olduğuna ikna etmek. Yüksek Lisans'ların geliştirilmesinde pek çok güvenlik çalışması yapılmıştır ve açık kaynak kullanımı bu alanda da ilerleme kaydedilmesine çok yardımcı olabilir.  

Dr. Kamar daha sonra bilim camiasına sorular yöneltti:

• Yapay zekanın bozulmasıyla bilim nasıl değişecek?
• Gelecek nesli eğitme ve yetiştirme şeklimizi dönüştürmek için adımlar atıyor muyuz?
• Bu aşama geçişinden faydalanmak için teknolojik altyapı mı oluşturuyorsunuz?
• Gelecek nesilleri yeni dünyaya hazırlıyor muyuz?

Son olarak Dr. Kamar, faz geçişinin dikkat çekici temel yönlerinden birinin Yüksek Lisans'ın gelişme hızı olduğunu vurguladı. Bu modeller çok kısa bir süre içinde önemli ölçüde gelişiyor ve bilgisayar araştırmacılarının yetişmesi gereken çok şey var.

İkinci panelist Dr. Hal Daumé III (Maryland Üniversitesi), insanların yapmak istedikleri şeyleri yapmalarına yardımcı olmak için yapay zeka modellerinin geliştirilmesi gerektiğini açıklayarak konuşmasına başladı; İnsan işini artırın, otomatikleştirmeyin. Bu otomasyon vizyonu 60'lı yıllardan bu yana toplumda yaygınlaştı. Bilim insanları, insanların daha iyi satranç oynamasına yardımcı olmak yerine, kendi başına satranç oynayan bir sistem tasarladılar.

Bu felsefe hiçbir yere gitmiyor; Bugün yapay zeka, bir görevi kendi başına yapabilecek kadar akıllı olduğunda hala haber değeri taşıyor. Bu, AI'nın kanının derinliklerindedir. Bir sistemi otomatikleştirmek için zaman ve para harcamadan önce durup şunu sormalıyız: Bu bizim çıkarımıza mı?

Dr. Daumé, güçlendirme konseptini öne çıkardı: Yapay zeka bir araç olarak nasıl kullanılabilir? Github copilot gibi sistemler üretkenliği artırır ancak verimliliği artırmak yeterli değildir. Sistemin bir kullanıcısı, kodlamanın eğlenceli kısımlarına odaklanmalarına izin verdiğini ve bunun da yapay zekanın nasıl inşa edilmesi gerektiğine çok daha uygun olduğunu söyledi.

Yapay zeka araştırmacıları, bir kişinin işinin eğlenceli kısımlarını çıkarmak istememelidir; angaryanın kaldırılmasına öncelik vermeliler. Bir şirketin kârlılığını iyileştirmek yerine insan hayatını iyileştirmelidir.

Dr. Daumé bu noktaları vurgulayan bir makalenin ortak yazarıydı ve karşı argüman, teknik açıdan bakıldığında, özellikle makine öğrenimi teknolojisini kullanan sistemler oluşturmanın, otomatikleştirmenin, geliştirmekten çok daha kolay olduğu yönünde ortaya çıktı. Bunun nedeni, bir sistemi eğitecek bir sistemi eğitmek için gerekli verilerin elde edilmesinin kolay olmasıdır. Bu bilgiyi işimizi yaparak sağlıyoruz ve ML'yi insan davranışını taklit edecek şekilde eğitmek kolaydır. Birinin bir görevi tamamlamasına yardımcı olacak bir sistemi öğretmek çok daha zordur. Bu bilgiler NSF'den gelen literatür incelemeleri arasında dağılmıştır, bir programcının bir kağıt parçası üzerine yazdığı yazılar vb. Bir insanın görevleri yapmasına yardımcı olmak için gerekli veriler kaydedilmez.

Yararlı sistemler oluşturmanın bir diğer önemli yönü, kullanıcıya hangi sistemlerin yaşamları için yararlı olacağını sormaktır. Örneğin kör insanların ihtiyaçları, gören insanların ihtiyaçlarından çok farklıdır (ki bunlar da gören insanların ihtiyaçlarından farklıdır). düşünmek kör insanların ihtiyaçları). Dr. Daumé'nin paylaştığı bir örnek, görsel bir sistemin bir nesnenin bir kutu soda olduğunu ortaya çıkarabileceği, ancak kör bir kişinin bunu genellikle kendi başına anlayabilmesiydi. Sodanın içindekiler onlar için çok daha yararlı olacaktır. Bir sistemin soruları basitçe anlamaya yönelik yanıtlarının kalitesi ile erişilebilirlik sorularını ele almaya yönelik yanıtlarının kalitesi arasında çok büyük bir uçurum var ve bu uçurum giderek artıyor.

Onlara "yardımcı" olacak teknolojiyi oluşturmadan önce topluluğun ihtiyaçlarını belirlemenin önemine dair ek bir örnek de içerik denetimidir. Pek çok gönüllü içerik moderatörü, dünyayı daha iyi bir yer haline getirmek ve önemli olduğunu düşündükleri bir topluluk oluşturmaya yardımcı olmak istedikleri için bu çalışmaya katılıyor. Rollerine yardımcı olmak için ne tür bir araç istedikleri sorulduğunda, genellikle işlerinin tamamen otomatik olmasını istemiyorlar, sadece sohbet geçmişine bakmak gibi sıkıcı kısımların daha kolay olmasını istiyorlar.

Daumé bu tartışmayı, arabaları seven ve otomatik araba kullanmayı reddeden, arabayı seven annesinin son bir örneğiyle bitiriyor. Manuel şanzımanı seçiyor ve bu seçeneğe sahip olması onun için gerçekten önemli. İnsanlar, görevlerinin otomatikleştirilmesini isteyip istemediklerini kontrol edebilmelidir.

Dr. Daumé, erişilebilirlik teknolojisine yönelik mevcut yaklaşımlara alternatifler sunarak sohbete devam ediyor. Örneğin, işaret dili tanıma konusunda bir araç oluştururken, imza atan kişilerin videoları için interneti araştırmak yerine (ki bu çok fazla rıza ve gizlilik kaygısı taşır, ayrıca bu videoların çoğu profesyonellere aittir ve arka planda gürültü/dikkat dağıtıcı unsurlar yoktur, bu da 'önemlidir'). gerçekçi değil), topluluğa ulaşın ve araçları eğitmek için videolar göndermelerine olanak tanıyan bir proje başlatın. Bunun gibi topluluğa öncelik veren stratejiler daha etik ve sorumlu olup kullanıcılara daha fazla kontrol sağlar. 

Dr. Daumé, yüksek lisans ve diğer araçların zekaya değil kullanışlılığa öncelik verecek şekilde geliştirilmesi gerektiği sonucuna varıyor. Ne kadar kullanışlı olursa, insanların zaten iyi yaptığı ve keyif aldığı bir şeyi otomatikleştirmek yerine, insanların yapamayacakları veya yapmak istemedikleri bir şeyi yapmalarına o kadar yardımcı olabilir.

Bir sonraki konuşmacı olan Dr. Jonathan May (Güney Kaliforniya Üniversitesi Bilgi Bilimleri Enstitüsü) konferansın teması üzerine düşünerek konuşmasına başladı: “Duvarsız Bilime Doğru.” Son LLM gelişmesinin bazı insanlar için duvarları yıktığını, birçokları için ise duvarlar ördüğünü öne sürüyor.

İlk olarak internetin araştırma yapmanın önündeki birçok engeli nasıl azalttığını tartışıyor; 17 yaşındayken Star Wars ve Yüzüklerin Efendisi'nin neden bu kadar benzer olay örgüsüne sahip olduğunu merak etti ve kütüphaneye gidip cevabı içeren bir kitap bulmak zorunda kaldı. Doktora tezi için daha riskli ama bir o kadar da zorlu araştırmalar yaptı, ancak çalıştığı sürenin sonunda konuyla ilgili bir Wikipedia sayfası oluşturuldu, ardından internette arama yapıldı ve artık arabasız araştırma norm haline geldi.

Dr. May, Yüksek Lisans'ın hedef kitlesine yönelik demografide yer almanın ayrıcalığını hissettiğini söyleyerek devam etti. Sık sık kod yazmıyor ve hiçbir zaman çok fazla kodlama becerisi öğrenmedi, ancak işi için buna ihtiyaç duyduğunda ChatGPT'ye sorabilir ve bu harika bir iş çıkarır. 

Bununla birlikte, Yüksek Lisans'ın kullanışlılığını yaygınlaştırmanın önünde pek çok duvar vardır:

• Dil Duvarları: Modeller, üzerinde eğitildikleri veri miktarı arttıkça daha iyi çalışır. Günümüzün ticari yüksek lisans programları çok dilli olsa da ağırlıklı olarak İngilizce ağırlıklıdır. Örneğin, ChatGPT %92 İngilizce diliyle eğitilmiştir. Ayrıca LLM'lerin “gizli sosu” olan talimat verilerinin büyük çoğunluğu İngilizcedir (örneğin ChatGPT'lerin %96'sı). Mevcut testlerdeki sistemik performans boşluklarına rağmen bu modellerin diller arası performansını iyileştirmeye yönelik şu anda çok az çaba var; bu, makine çevirisinin (MT) "çözüldüğü" ve çabaların diğer görevlere odaklanması gerektiği yönündeki genel fikir birliği nedeniyle mantıklıdır.
• Kimlik Duvarları: ChatGPT'ye Noel'de ne yapmanız gerektiğini sorarsanız katılabileceğiniz farklı aktivite ve geleneklere odaklanıyor; işe gidebileceğinden bahsetmiyor. LLM'lerin farklı demografik grupları tanımlarken farklı davrandıkları, bazı durumlarda daha olumsuz duyguları ve hatta doğrudan toksisiteyi ifade ettikleri gösterilmiştir. LGBTQ+ ya da Yahudi gibi topluluklarda zarara yol açabilecek basmakalıp cümlelerin oluşma ihtimali var; genel olarak çok fazla önyargı var ve bunun karar alma süreçlerinde sonuçları var. Yerleşik bazı güvenlik önlemleri vardır ve daha açık araştırma sorularının zararlı yanıtlar alma olasılığı daha düşüktür, ancak modeller olasılıksal olarak basmakalıp ifadeleri ve sonuçları tercih eder ve bu, özellikle modelleri, alt yeteneklerde kullanırken, gerekli sonuçları göremediğiniz durumlarda zararların olduğu yerdir. çıktı (yani krediye uygunluk). İşlerine göre bireylerin yüzlerini oluştururken yüksek lisans yapanların önyargılı davrandığına bir örnek verdi; düşük ücretli işler kadınlar ve azınlıklar olarak gösterilirken, yüksek ücretli işler beyaz erkeklerdir.
• Çevresel Duvarlar (yazılım): Yüksek Lisans'ların üretimi ve çalıştırılması önemli miktarda enerji gerektirir. En “mütevazı” LM'ler bile tek bir kişinin kullanımından 3 kat daha fazla yıllık enerji kullanıyor. ChatGPT gibi en büyük dil modellerine ilişkin verilerde de önemli bir boşluk var ancak bunlara sahip olan şirketler, enerji tüketimlerine erişimi açıkça reddediyor.
• Çevresel Duvarlar (donanım): Tüm yüksek lisansların ihtiyaç duyduğu çipleri üretmek için tantal (Kongo'da çıkarılmış) ve hafniyum (Senegal ve Rusya'da çıkarılmış) gibi “çatışma malzemelerine” ihtiyacınız var. ABD'de şirketlerin kullandıkları ihtilaflı minerallerin miktarını bildirmeleri gerekiyor, ancak ABD kamuoyuna bu malzemelerin kullanımında bir azalma gösteriyor ki bu doğru olamaz. Bunun ötesinde, Çin'in ABD'nin ihracat kısıtlamalarına misilleme olarak germanyum ve galyumu kısıtlaması gibi pek çok sosyo-politik sorun var.

Dr. May, bu kategorilerin yüksek lisans eğitimlerinin yol açtığı zararlarla ilgili birçok alt sorundan bazılarını ve insanların fayda sağlayamadığı örnekleri ortaya çıkardığını ifade ediyor. Endişelenmek için nedenler var ancak bu zararların bazılarını azaltacak araştırma ve/veya davranış değişikliği fırsatları da var:

• Dil: Çok dilliliğe daha fazla araştırma fonu ayırın (yalnızca İngilizceye ve İngilizceden hegemonik çeviriye değil).
• Kimlik: Aşağıdan yukarıya ve toplumu kapsayan araştırma. Dağıtımdan önce model değişikliği ve test etme
• Ortam: Daha az veri kullanan ve daha az parametreyi değiştiren algoritma geliştirme (örn. LoRA, bağdaştırıcılar, RL olmayan PO). Bilgi işlem konusunda dikkatli olun ve düzenleyici düzeylerde açıklık konusunda ısrarcı olun 

Dr. May, Dr. Daumé'nin, insanların Yüksek Lisans'larla etkileşimde bulunurken istedikleri şekilde faydalanılması gerektiği ve bunun geliştirme aşamasında akılda tutulması gerektiği yönündeki görüşünü yineleyerek paneli tamamladı.

Okuduğunuz için çok teşekkür ederim ve lütfen yarın oturumun Soru-Cevap bölümünün özetini okuyun.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://feeds.feedblitz.com/~/874484594/0/cccblog~CCC-AAAS-Large-Language-Models-Helpful-Assistants-Romantic-Partners-or-Con-Artists-Part-One/