Microsoft Yapay Zeka Araştırması, kısa bir süre önce, performansını önemli ölçüde artırmak için Otomatik Bilgi İstemi Optimizasyonu (APO) adlı yeni bir çerçeve sunmuştur. büyük dil modelleri (LLM'ler). Bu çerçeve, kullanıcıların minimum manuel müdahale ile daha iyi istemler oluşturmasına ve optimize etmesine yardımcı olmak için tasarlanmıştır. hızlı mühendislik daha iyi sonuçlar için. Bu yazıda, APO'nun ayrıntılarına ve bunun NLP görevleri üzerindeki potansiyel etkisine değineceğiz. Öncelikle tanımından başlayalım.
APO nedir?
APO, LLM'ler için istemleri otomatik olarak optimize eden basit ve genel amaçlı bir çerçevedir. Sayısal gradyan inişinden ilham alan parametrik olmayan bir bilgi istemi optimizasyon algoritmasıdır. Algoritma, insanların daha iyi istemler yazmasına yardımcı olmak için mevcut iki otomatikleştirilmiş yaklaşımı birbirine bağlar. Birincisi, yardımcı modellerin veya bilgi isteminin türevlenebilir temsillerinin eğitimidir. İkincisi, takviyeli öğrenme (RL) veya LLM tabanlı geri bildirim yoluyla istemlere ayrı manipülasyonların uygulanmasıdır.
APO Nasıl Çalışır?
Önerilen yaklaşım, ilk olarak, belirli bir istemin kusurlarını açıklayan doğal dilde “gradyanları” elde etmek için küçük eğitim verisi kümelerini benimser. Ardından istemi, degradenin zıt anlamsal yönüne doğru düzenler. Bu adımlar, bilgi istemleri alanında daha geniş bir ışın aramasının genişleme bileşeni olarak hizmet eder ve görevi bir ışın adayı seçim problemi haline getirir ve böylece algoritmik verimliliği artırır.
Sonuçlar ve Değerlendirme
APO'nun etkinliğini değerlendirmek için Microsoft araştırma ekibi, APO'yu son teknoloji ürünü üç hızlı öğrenme temeli ile karşılaştırdı. Jailbreak tespiti, nefret söylemi tespiti, sahte haber tespiti ve alay tespiti dahil olmak üzere çeşitli NLP görevlerinde karşılaştırıldılar. Sonuçlar, APO'nun hiperparametre ayarı veya model eğitimi olmadan Monte Carlo (MC) ve takviyeli öğrenme (RL) temellerine göre önemli iyileştirmeler elde ederek sürekli olarak diğer temel çizgilerden daha iyi performans gösterdiğini gösterdi.
APO'nun Etkisi
APO ile, bilgi istemleri giderek daha karmaşık ve karmaşık hale geldikçe, bilgi istemi mühendisliğini optimize etmek ve iyileştirmek daha erişilebilir ve verimli hale gelecektir. APO, hızlı optimizasyon sürecini otomatikleştirerek büyük dil modellerinin verimliliğini artırma ve hızlı geliştirme için gereken el işçiliğini ve geliştirme süresini azaltma potansiyeline sahiptir. Bu, bir dizi NLP görevinde daha iyi performansla sonuçlanabileceği için önemli bir gelişmedir.
Ayrıca Oku: TCS, Kodlama için GPT Benzeri Yapay Zeka Çözümü Planlayarak İstem Mühendislerinin Önünü Açıyor
Bizim Sözümüz
Otomatik Bilgi İstemi Optimizasyonunun (APO) Microsoft AI Research tarafından kullanıma sunulması, LLM'ler için bilgi istemi mühendisliğini optimize etmede önemli bir etkiye sahip olacaktır. Çerçevenin kullanımı basit, genel amaçlı ve parametrik değildir. Bu, ekstra hiperparametre ayarı veya model eğitimi olmadan bilgi istemi kalitesini iyileştirmek için onu etkili bir araç haline getirir. APO ile hızlı mühendisliği optimize etmek daha erişilebilir, verimli ve doğru olacak ve çeşitli NLP görevlerinde daha iyi sonuçlara yol açacaktır.
İlgili bağlantılar
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- PlatoAiStream. Web3 Veri Zekası. Bilgi Genişletildi. Buradan Erişin.
- Adryenn Ashley ile Geleceği Basmak. Buradan Erişin.
- PREIPO® ile PRE-IPO Şirketlerinde Hisse Al ve Sat. Buradan Erişin.
- Kaynak: https://www.analyticsvidhya.com/blog/2023/05/microsoft-introduces-automatic-prompt-optimization-framework-for-llms/
