Zephyrnet Logosu

Yapay Zeka Performansı Asimptot Olduğunda Ne Olur? yazan: @ttunguz

Tarih:

Geçmişte yapay zeka modeli ne kadar büyük olursa performans da o kadar iyi oluyordu. Örneğin OpenAI modellerinde parametreler 1000 kattan fazla arttı ve performans neredeyse üç katına çıktı.

OpenAI Modeli Tarihi bırakın Parametreler, B MMLU
GPT2 2/14/19 1.5 0.324
GPT3 6/11/20 175 0.539
GPT3.5 3/15/22 175 0.7
GPT4 3/14/23 1760 0.864

Ancak model performansı yakında asimptot olacak; en azından bu ölçümde.

görüntü

Bu bir birçok yeni yapay zeka modelinin performansının tablosu MMLU adı verilen geniş çapta kabul edilen bir kritere göre. 1 MMLU, bir yapay zeka modelinin performansını bir lise öğrencisiyle karşılaştırarak ölçer.

Modelleri şu şekilde kategorize ettim:

  • Büyük: > 100 milyar parametre
  • Orta: 15 ila 100b parametre
  • Küçük : < 15b parametre

Zaman içinde performans, hem model boyutlarına hem de model satıcılarına göre hızla birbirine yaklaşıyor.

Facebook'un açık kaynak modeli ve Google.com'a güç veren Google'ın kapalı kaynak modeli ve ChatGPT'ye güç veren OpenAI modellerinin hepsi eşit derecede iyi çalıştığında ne olur?

Bilgisayar bilimcileri, bu modellerin göreceli performansını birçok farklı testle ayırt etmekte zorlandılar. Kullanıcılar daha iyisini yapmakta zorlanacaklar.

Bu noktada model katmanındaki değerin çökmesi gerekir. Ücretsiz olarak kullanılabilen bir açık kaynaklı model, ücretli olan kadar iyiyse neden ücretsiz olanı kullanmayasınız? Ve eğer daha küçük, çalıştırması daha ucuz bir açık kaynak modeli neredeyse aynı derecede iyiyse neden onu kullanmayasınız ki?

Yapay zekanın hızlı büyümesi modellere olan ilginin artmasına neden oldu. Ancak altyapı katmanının, tıpkı üç satıcının %65 pazar payına sahip olduğu bulutta olduğu gibi, oldukça hızlı bir şekilde metalaşması gerekir: Amazon Web Services, Azure ve Google Cloud Platform.

Devasa AI emtia komisyoncularının etrafındaki uygulamalar ve geliştirici araçları, geliştirmenin bir sonraki aşamasıdır; ürün farklılaştırma ve dağıtımının parlak, ham teknik ilerlemelerden ziyade farklılaştığı yer.2


1 MMLU 57 farklı görevi ölçer matematik, tarih, bilgisayar bilimi ve diğer konular dahil. Bu, pek çok ölçümden biridir ve herhangi bir kıyaslama gibi mükemmel değildir. Elo sistemi dahil başkaları da var. İşte bir farklılıklara genel bakış.. Her kıyaslama, modeli farklı bir spektrumda derecelendirir: önyargı,
matematiksel akıl yürütme diğer iki örnektir.

spot_img

En Son İstihbarat

spot_img