Midjourney ile oluşturuldu

2023-10 Aralık tarihleri ​​arasında hareketli New Orleans şehrinde düzenlenen NeurIPS 16 konferansında üretken yapay zeka ve büyük dil modelleri (LLM'ler) üzerinde özellikle durulmuştu. Bu alandaki son çığır açıcı gelişmelerin ışığında, bu konuların tartışmalara hakim olması sürpriz değildi.

Bu yılki konferansın ana temalarından biri daha verimli yapay zeka sistemleri arayışıydı. Araştırmacılar ve geliştiriciler aktif olarak yalnızca mevcut Yüksek Lisans'lardan daha hızlı öğrenmekle kalmayıp aynı zamanda daha az bilgi işlem kaynağı tüketirken gelişmiş muhakeme yeteneklerine sahip olan yapay zeka oluşturmanın yollarını arıyorlar. Bu arayış, öngörülebilir gelecekte giderek daha ulaşılabilir görünen bir hedef olan Yapay Genel Zekaya (AGI) ulaşma yarışında hayati önem taşıyor.

NeurIPS 2023'teki davetli görüşmeler bu dinamik ve hızla gelişen ilgi alanlarının bir yansımasıydı. Yapay zeka araştırmalarının çeşitli alanlarından sunum yapanlar, en son başarılarını paylaşarak en son yapay zeka gelişmelerine bir pencere açtı. Bu makalede, yapay zeka inovasyonunun mevcut ve gelecekteki manzaralarını anlamak için gerekli olan temel çıkarımları ve öğrenmeleri çıkararak ve tartışarak bu konuşmaları derinlemesine inceleyeceğiz.

NextGenAI: Ölçeklendirme Yanılgısı ve Üretken Yapay Zekanın Geleceği 

In onun konuşmasıMünih Ludwig Maximilian Üniversitesi Bilgisayarlı Görme ve Öğrenme Grubu Başkanı Björn Ommer, laboratuvarının Kararlı Difüzyonu geliştirmeye nasıl geldiğini, bu süreçten öğrendikleri birkaç dersi ve difüzyon modellerini nasıl harmanlayabileceğimiz de dahil olmak üzere son gelişmeleri paylaştı. akış eşleştirme, erişim artırma ve LoRA yaklaşımları vb.

Anahtar teslimatlar:

• Üretken yapay zeka çağında, görüş modellerinde algıya odaklanmaktan (örn. nesne tanıma) eksik parçaları tahmin etmeye (örn. yayılma modelleriyle görüntü ve video oluşturma) geçtik.
• 20 yıl boyunca bilgisayarlı görme, en belirgin sorunlara odaklanmaya yardımcı olan kıyaslama araştırmalarına odaklandı. Üretken AI'da optimize edilecek herhangi bir kriterimiz yok, bu da herkesin kendi yönüne gitmesi için alan açtı.
• Difüzyon modelleri, istikrarlı bir eğitim prosedürü ve etkili örnek düzenleme ile puana dayalı olması nedeniyle önceki üretken modellerin avantajlarını birleştirir, ancak uzun Markov zincirleri nedeniyle pahalıdırlar.
• Güçlü olabilirlik modellerinin zorluğu, bitlerin çoğunun insan gözünün zorlukla algılayabileceği ayrıntılara girmesi, en önemli olan anlambilimin kodlanmasının ise yalnızca birkaç bit almasıdır. Ölçeklendirme tek başına bu sorunu çözemez çünkü bilgi işlem kaynaklarına olan talep, GPU arzından 9 kat daha hızlı artıyor.
• Önerilen çözüm, Difüzyon modellerinin ve ConvNet'lerin güçlü yönlerini, özellikle de yerel ayrıntıları temsil etmek için evrişimlerin verimliliğini ve uzun vadeli bağlam için difüzyon modellerinin anlamlılığını birleştirmektir.
• Björn Ommer ayrıca küçük gizli difüzyon modellerinden yüksek çözünürlüklü görüntü sentezini mümkün kılmak için akış eşleştirme yaklaşımının kullanılmasını da öneriyor.
• Görüntü sentezinin verimliliğini artırmaya yönelik başka bir yaklaşım, ayrıntıları doldurmak için geri alma artırmayı kullanırken sahne kompozisyonuna odaklanmaktır.
• Son olarak kontrollü stokastik video sentezi için iPoke yaklaşımını tanıttı.

Bu derinlemesine içerik işinize yararsa, AI posta listemize abone olun yeni materyal çıkardığımızda uyarılmak. 

Sorumlu Yapay Zekanın Birçok Yüzü 

In onun sunumuGoogle Araştırma'da Araştırma Bilimcisi olan Lora Aroyo, geleneksel makine öğrenimi yaklaşımlarındaki önemli bir sınırlamanın altını çizdi: Verilerin olumlu veya olumsuz örnekler olarak ikili olarak sınıflandırılmasına güvenmeleri. Bu aşırı basitleştirmenin, gerçek dünya senaryolarının ve içeriğinin doğasında bulunan karmaşık öznelliği gözden kaçırdığını savundu. Aroyo, çeşitli kullanım örnekleri aracılığıyla içerik belirsizliğinin ve insanların bakış açılarındaki doğal farklılıkların çoğu zaman kaçınılmaz anlaşmazlıklara nasıl yol açtığını gösterdi. Bu anlaşmazlıkları salt gürültüden ziyade anlamlı sinyaller olarak ele almanın önemini vurguladı.

İşte konuşmadan önemli çıkarımlar:

• İnsan çalışanları arasındaki anlaşmazlıklar üretken olabilir. Lora Aroyo, tüm yanıtları doğru ya da yanlış olarak ele almak yerine, değerlendiricilerin fikir ayrılıklarından yararlanarak verilerin güvenilirliğini değerlendirmeye yönelik bir dağılımsal doğruluk yaklaşımı olan "anlaşmazlık yoluyla doğruluk" yaklaşımını tanıttı.
• Veri kalitesi uzmanlarla bile zordur çünkü uzmanlar da kalabalık çalışanlar kadar aynı fikirde değildir. Bu anlaşmazlıklar, tek bir uzmanın yanıtlarından çok daha bilgilendirici olabilir.
  • Güvenlik değerlendirme görevlerinde uzmanlar örneklerin %40'ı konusunda hemfikir değiller. Bu anlaşmazlıkları çözmeye çalışmak yerine, bu türden daha fazla örnek toplamalı ve bunları modelleri ve değerlendirme ölçütlerini geliştirmek için kullanmalıyız.
• Lora Aroyo da sunumunu yaptı Çeşitlilik ile Güvenlik Veriyi, içinde ne olduğu ve ona kimin açıklama eklediği açısından inceleme yöntemi.
  • Bu yöntem, çeşitli demografik değerlendirici grupları (toplamda 2.5 milyon derecelendirme) arasında LLM güvenlik kararlarındaki değişkenliğe sahip bir kıyaslama veri seti üretti.
  • Görüşmelerin %20'si için, chatbot yanıtının Güvenli mi Güvensiz mi olduğuna karar vermek zordu; zira kabaca eşit sayıda katılımcı onları güvenli veya güvensiz olarak etiketliyordu.
• Değerlendiricilerin ve verilerin çeşitliliği, modellerin değerlendirilmesinde çok önemli bir rol oynamaktadır. İnsan bakış açılarının geniş yelpazesini ve içerikteki belirsizliği kabul etmemek, makine öğrenimi performansının gerçek dünya beklentileriyle uyumlaştırılmasını engelleyebilir.
• Yapay zeka güvenlik çabalarının %80'i zaten oldukça iyi ancak geri kalan %20, uç durumları ve sonsuz çeşitlilik alanındaki tüm değişkenleri ele almak için çabanın iki katına çıkarılmasını gerektiriyor.

Tutarlılık istatistikleri, kendi kendine oluşturulan deneyim ve genç insanların neden mevcut yapay zekadan çok daha akıllı olduğu 

In onun konuşmasıIndiana Üniversitesi Bloomington'da Seçkin Profesör Linda Smith, bebeklerin ve küçük çocukların öğrenme süreçlerindeki veri azlığı konusunu araştırdı. Özellikle nesne tanıma ve isim öğrenmeye odaklandı ve bebeklerin kendi kendine oluşturduğu deneyimlere ilişkin istatistiklerin veri azlığı sorununa nasıl potansiyel çözümler sunduğunu araştırdı.

Anahtar teslimatlar:

• Üç yaşına gelindiğinde çocuklar çeşitli alanlarda tek seferde öğrenebilme yeteneğini geliştirmişlerdir. Dördüncü yaş günlerine yaklaşan 16,000 uyanık saatten daha kısa sürede 1,000'den fazla nesne kategorisini öğrenmeyi, ana dillerinin sözdizimine hakim olmayı ve çevrelerindeki kültürel ve sosyal nüansları özümsemeyi başarıyorlar.
• Dr. Linda Smith ve ekibi, çocukların bu kadar az miktardaki verilerden çok şey elde etmesine olanak tanıyan insan öğreniminin üç ilkesini keşfetti:
  • Öğrenenler girdiyi kontrol ederler ve girdiyi an be an şekillendirip yapılandırırlar. Örneğin bebekler hayatlarının ilk birkaç ayında basit kenarlı nesnelere daha çok bakma eğilimindedir.
  • Bebekler bilgi ve yeteneklerini sürekli olarak geliştirdikleri için oldukça kısıtlı bir müfredatı takip ederler. Maruz kaldıkları veriler son derece önemli şekillerde düzenlenmiştir. Örneğin, 4 aydan küçük bebekler en fazla zamanı yüzlere bakarak geçirirler (saatte yaklaşık 15 dakika). 12 aydan büyük bebekler ise öncelikle ellere odaklanır ve onları saatte yaklaşık 20 dakika gözlemlerler.
  • Öğrenme bölümleri birbirine bağlı bir dizi deneyimden oluşur. Mekansal ve zamansal korelasyonlar tutarlılık yaratır ve bu da bir kerelik olaylardan kalıcı anıların oluşmasını kolaylaştırır. Örneğin, rastgele bir oyuncak çeşidi sunulduğunda, çocuklar genellikle birkaç 'favori' oyuncağa odaklanırlar. Nesnelerin daha hızlı öğrenilmesine yardımcı olan tekrarlayan desenler kullanarak bu oyuncaklarla etkileşime girerler.
• Geçici (çalışan) anılar duyusal girdiden daha uzun süre kalır. Öğrenme sürecini geliştiren özellikler arasında çok modluluk, ilişkiler, öngörücü ilişkiler ve geçmiş anıların etkinleştirilmesi yer alır.
• Hızlı öğrenme için veriyi üreten mekanizmalar ile öğrenen mekanizmalar arasında bir ittifaka ihtiyacınız vardır.

​Eskiz oluşturma: temel araçlar, öğrenmeyi geliştirme ve uyarlanabilir sağlamlık 

UC Berkeley'de Elektrik Mühendisliği ve Bilgisayar Bilimleri Profesörü Jelani Nelson, veri 'çizimleri' kavramını tanıttı – yine de yararlı sorguların yanıtlanmasını sağlayan bir veri kümesinin bellekle sıkıştırılmış temsili. Konuşma oldukça teknik olmasına rağmen, son gelişmeler de dahil olmak üzere bazı temel çizim araçlarına ilişkin mükemmel bir genel bakış sağladı.

Temel çıkarımlar:

• Temel çizim aracı olan CountSketch, ilk olarak 2002 yılında, verilen öğe akışından en sık görülen öğelerin küçük bir listesini rapor ederek 'ağır vurucular' sorununu çözmek için tanıtıldı. CountSketch, bu amaç için kullanılan bilinen ilk alt doğrusal algoritmaydı.
• Ağır vurucuların yayın dışı iki uygulaması şunları içerir:
  • Doğrusal programlama için asimptotik olarak bilinen en hızlı algoritmayı veren iç nokta tabanlı yöntem (IPM).
  • Yüksek Lisans'larda kullanılan uzun bağlamların artan karmaşıklığının ortaya çıkardığı hesaplama zorluğunu gideren HyperAttention yöntemi.
• Son zamanlardaki çalışmaların çoğu, uyarlanabilir etkileşime dayanıklı eskizler tasarlamaya odaklandı. Ana fikir, uyarlanabilir veri analizinden elde edilen içgörüleri kullanmaktır.

Ölçeklendirmenin Ötesinde Panel 

Bu büyük dil modelleri üzerine harika bir panel moderatörlüğünü Cornell Tech'te doçent ve Hugging Face'te araştırmacı olan Alexander Rush üstlendi. Diğer katılımcılar arasında şunlar vardı:

• Aakanksha Chowdhery – Google DeepMind'da sistemler, LLM ön eğitimi ve çok modluluk konularında araştırma ilgisi olan Araştırma Bilimcisi. PaLM, Gemini ve Pathways'i geliştiren ekibin bir parçasıydı.
• Angela Fan – Meta Generative AI'da uyum, veri merkezleri ve çok dillilik konularında araştırma yapan Araştırma Bilimcisi. Llama-2 ve Meta AI Assistant'ın geliştirilmesine katıldı.
• Percy Liang – Stanford'da yaratıcıları, açık kaynağı ve üretken aracıları araştıran profesör. Stanford'daki Temel Modeller Araştırma Merkezi'nin (CRFM) Direktörü ve Together AI'nın kurucusudur.

Tartışma dört temel konuya odaklandı: (1) mimariler ve mühendislik, (2) veri ve hizalama, (3) değerlendirme ve şeffaflık ve (4) yaratıcılar ve katkıda bulunanlar.

İşte bu panelden çıkarılacak bazı çıkarımlar:

• Mevcut dil modellerini eğitmek doğası gereği zor değildir. Llama-2-7b gibi bir modeli eğitmedeki ana zorluk, altyapı gereksinimlerinde ve birden fazla GPU, veri merkezi vb. arasında koordinasyon ihtiyacında yatmaktadır. Bununla birlikte, parametre sayısı tek bir GPU üzerinde eğitime izin verecek kadar küçükse, bir lisans öğrencisi bile bunu başarabilir.
• Otoregresif modeller genellikle metin üretimi için ve yayılma modelleri görüntü ve video oluşturmak için kullanılırken, bu yaklaşımları tersine çeviren deneyler de yapılmıştır. Özellikle Gemini projesinde görüntü üretimi için otoregresif bir model kullanılmaktadır. Metin üretimi için yayılma modellerinin kullanılmasına yönelik araştırmalar da yapılmıştır ancak bunların yeterince etkili olduğu henüz kanıtlanmamıştır.
• Eğitim modelleri için İngilizce dilindeki verilerin sınırlı olması nedeniyle araştırmacılar alternatif yaklaşımlar araştırıyor. Bir olasılık, bu alternatif yöntemlerden öğrenilen becerilerin metne aktarılabileceği beklentisiyle çok modlu modellerin metin, video, görüntü ve ses kombinasyonu üzerinde eğitilmesidir. Diğer bir seçenek ise sentetik verilerin kullanılmasıdır. Sentetik verilerin sıklıkla gerçek verilerle karıştığını ancak bu entegrasyonun rastgele olmadığını unutmamak önemlidir. Çevrimiçi olarak yayınlanan metinler genellikle insanlar tarafından derlenir ve düzenlenir; bu da model eğitimine ek değer katabilir.
• Açık temel modelleri sıklıkla inovasyon açısından faydalı olarak görülüyor ancak kötü niyetli aktörler tarafından istismar edilebileceği için yapay zeka güvenliği açısından potansiyel olarak zararlı görülüyor. Ancak Dr. Percy Liang, açık modellerin güvenliğe de olumlu katkı sağladığını savunuyor. Erişilebilir olmalarının, daha fazla araştırmacıya yapay zeka güvenlik araştırması yapma ve olası güvenlik açıklarına yönelik modelleri inceleme fırsatı sunduğunu savunuyor.
• Bugün, verilere açıklama eklemek, beş yıl öncesine kıyasla açıklama alanında çok daha fazla uzmanlık gerektiriyor. Ancak yapay zeka asistanları gelecekte beklendiği gibi performans gösterirse kullanıcılardan daha değerli geri bildirim verileri alacağız ve bu da açıklayıcılardan gelen kapsamlı verilere olan bağımlılığı azaltacaktır.

​Temel Modelleri için Sistemler ve Sistemler için Temel Modelleri 

In bu konuşmaStanford Üniversitesi Bilgisayar Bilimleri Bölümünde Doçent olan Christopher Ré, temel modellerin oluşturduğumuz sistemleri nasıl değiştirdiğini gösteriyor. Ayrıca temel modellerin nasıl verimli bir şekilde oluşturulabileceğini araştırıyor, veritabanı sistemleri araştırmalarından içgörüler alıyor ve temel modelleri için Transformer'dan potansiyel olarak daha verimli mimarileri tartışıyor.

İşte bu konuşmadan önemli çıkarımlar:

• Temel modelleri, her bir görevin nispeten basit olabileceği, ancak görevlerin genişliği ve çeşitliliğinin önemli bir zorluk teşkil ettiği '1000 kesintiyle ölüm' sorunlarının çözümünde etkilidir. Bunun güzel bir örneği, Yüksek Lisans'ların artık çok daha verimli bir şekilde çözülmesine yardımcı olabileceği veri temizleme sorunudur.
• Hızlandırıcılar hızlandıkça bellek genellikle bir darboğaz olarak ortaya çıkar. Bu, veritabanı araştırmacılarının onlarca yıldır ele aldığı bir sorundur ve biz de onların stratejilerinden bazılarını benimseyebiliriz. Örneğin, Flash Attention yaklaşımı, engelleme ve agresif birleştirme yoluyla giriş-çıkış akışlarını en aza indirir: Ne zaman bir bilgi parçasına erişsek, onun üzerinde mümkün olduğunca çok işlem gerçekleştiririz.
• Sinyal işlemeye dayanan ve özellikle uzun dizileri işlemede Transformer modelinden daha verimli olabilecek yeni bir mimari sınıfı var. Sinyal işleme, kararlılık ve verimlilik sunarak S4 gibi yenilikçi modellerin temelini oluşturur.

Dijital Sağlık Müdahalelerinde Çevrimiçi Takviyeli Öğrenme 

In onun konuşmasıHarvard Üniversitesi İstatistik ve Bilgisayar Bilimleri Profesörü Susan Murphy, dijital sağlık müdahalelerinde kullanılmak üzere çevrimiçi RL algoritmaları geliştirmede karşılaştıkları bazı zorlukların ilk çözümlerini paylaştı.

İşte sunumdan birkaç çıkarım:

• Dr. Susan Murphy üzerinde çalıştığı iki projeden bahsetti:
  • Akıllı telefonlardan ve giyilebilir takip cihazlarından alınan verilere dayanarak etkinliklerin önerildiği HeartStep ve
  • Müdahalelerin elektronik diş fırçasından alınan katılım verilerine dayandığı ağız sağlığı koçluğuna yönelik oralitik.
• Bir yapay zeka temsilcisi için bir davranış politikası geliştirirken araştırmacıların bunun özerk olduğundan ve daha geniş sağlık sistemi içinde uygulanabilir bir şekilde uygulanabildiğinden emin olmaları gerekir. Bu, bireyin katılımı için gereken sürenin makul olmasını ve önerilen eylemlerin hem etik açıdan sağlam hem de bilimsel açıdan makul olmasını sağlamayı gerektirir.
• Dijital sağlık müdahaleleri için bir RL aracısı geliştirmedeki başlıca zorluklar arasında, insanlar hayatlarını sürdürürken ve isteseler bile mesajlara her zaman yanıt veremeyebilecekleri için yüksek gürültü seviyeleriyle başa çıkmanın yanı sıra güçlü, gecikmiş olumsuz etkileri yönetme yer alır. .

Gördüğünüz gibi NeurIPS 2023, yapay zekanın geleceğine aydınlatıcı bir bakış sağladı. Davet edilen görüşmelerde daha verimli, kaynak bilincine sahip modellere ve geleneksel paradigmaların ötesinde yeni mimarilerin araştırılmasına yönelik bir eğilim vurgulandı.

Bu makaleyi beğendiniz mi? Daha fazla AI araştırma güncellemesi için kaydolun.

Bunun gibi daha özet makaleler yayınladığımızda size haber vereceğiz.

İlgili bağlantılar

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://www.topbots.com/neurips-2023-invited-talks/