Bu makale, Veri Bilimi Blogathon.
Kaynak: Canva
Giriş
Bu makalede, konuyu daha iyi tanımak ve bir sonraki işinizde başarılı olmak için etkili bir cevap formüle etmek için bir rehber olarak kullanabileceğiniz Transfer Öğrenimi ile ilgili on iki önemli sorudan oluşan bir liste derledim. röportaj.
Transfer Öğrenimine İlişkin Mülakat Soruları
Aşağıda Transfer Öğrenimi ile ilgili ayrıntılı yanıtları olan, mülakatta kazanan bazı sorular yer almaktadır.
Soru 1: NLP'de Transfer Öğrenme Nedir? Örneklerle Açıklayınız.
Cevap: Transfer Öğrenme, bir kaynak görev için eğitilen bir modelin diğer ilgili görevler (hedef görev) için yeniden tasarlandığı bir makine öğrenimi yaklaşımıdır.
Genellikle modeller izole edilmiş görevleri gerçekleştirmek üzere geliştirilir ve eğitilir. Ancak kaynaklarımızı iyi kullanmak ve eğitim süresini kısaltmak için, bir görevde (kaynak görev) kullanılan bir modelden elde edilen bilgi, diğer ilgili görevler (hedef görevler) için bir başlangıç noktası olarak yeniden kullanılabilir.
Görevler ne kadar ilişkili olursa bilgimizi aktarmamız veya çapraz olarak kullanmamız o kadar kolay olur. Bazı basit örnekler şöyle olabilir:
Özünde, Transfer Öğrenme, hedef alan görevinin öğrenme performansını doğaçlamak için insanların ilgili bir alandan (kaynak alan) toplanan bilgiyi aktarma/kullanma/genelleştirme yeteneğinden ilham alır. Bunu aşağıdaki örneklerin yardımıyla anlayalım:
Örnek 1: Diyelim ki Xiangqi'yi nasıl oynayacağınızı biliyorsunuz ve şimdi eğer Satranç oynamayı öğrenmek istiyorsanız, örtüşme göz önüne alındığında, Satranç öğrenirken/oynarken Xiangqi bilgilerini uygulayabildiğiniz/genelleştirebildiğiniz göz önüne alındığında öğrenmeniz daha kolay olacaktır. Çabuk öğren.
Örnek 2: Keman çalmayı bildiğinizi varsayalım, bu nedenle kemanı çalarken/öğrenirken ve anlarken topladığınız bilgilerin en azından bir kısmı (örneğin, notalar/nüanslar vb.) piyano çalmayı ve hızlı bir şekilde öğrenmeyi öğrenmede uygulanabilir. .
Örnek 3: Benzer şekilde, bisiklet sürme konusunda bilgiliyseniz, scooter/bisiklet sürmeyi öğrenmeye çalışırken bu “bilgiyi/deneyimi” kullanmak faydalı olacaktır.
Bu senaryoların her birinde her şeyi en başından öğrenmiyoruz. Geçmişte öğrendiklerimizden bilgiyi çapraz aktarır ve uygularız/genelleştiririz!
Şekil 1: Transfer öğreniminin sezgisel örneklerini çıkarabiliriz (Kaynak: Arxiv)
Transfer öğrenimi sırasında bilginin uygulanması, kaynak görevin hedef göreve uygulanan ve eşleştirilen niteliklerinden ve özelliklerinden yararlanmayı ifade eder.
Şekil 2: Bilginin örnekler/özellikler/parametreler/ilişkiler biçiminde olabileceği Transfer Öğreniminin çizimi (Kaynak: Arxiv)
Transfer öğrenimi sırasında, önceden eğitilmiş bir modelin (zaten 1'i yapmayı öğrenmiş olan) tabanı yeniden kullanılır ve birkaç yoğun katmana sahip eğitimsiz bir kafa eklenir (2'yi öğrenmek için)). Vücut ağırlıkları, yeni hedef görev için yeni bir modeli başlatmak amacıyla kullanılan geniş kaynak etki alanı özelliklerini öğrenir.
Şekil 3: Geleneksel denetimli öğrenme (sol) vs. Transfer Öğrenme (sağda) (Kaynak: NLP with Transformers kitabı)
Not: Uygulamalı bilginin yeni görevler üzerinde mutlaka faydalı bir etkisi olması gerekmez. Buna 9. soruda bakacağız.
Soru 2: Transfer Öğrenmeyi Neden Kullanmalıyız?
Cevap: Hedef görevin kaynak etki alanı + görevle çok az ilgisi varsa, aşağıdaki yönlerden bize yardımcı olabileceğinden Transfer Öğreniminden yararlanılması önerilir:
1. Zamandan Tasarruf Sağlar: Büyük bir modeli sıfırdan eğitmek birkaç günden haftalara kadar çok zaman alır. Bu ihtiyaç, önceden eğitilmiş model (kaynak model) bilgisinden yararlanılarak azaltılabilir.
2. Kaynakları Korur + Ekonomik + Çevre Dostu: Modelin en başından itibaren eğitilmesini içermediğinden. Sonuç olarak kaynak tasarrufu sağlar, ekonomiktir ve çevre dostudur.
3. Etiketli veriler az olduğunda etkili modeller oluşturmaya yardımcı olur: Elimizde çok az verinin olduğu senaryolarda transfer öğrenmenin yardımıyla az sayıda eğitim verisi kullanılarak etkili bir makine öğrenmesi modeli oluşturulabilir.
4. Daha İyi Performans: Olumlu aktarım sırasında, denetimli öğrenme kullanılarak sıfırdan eğitilen bir modelden genellikle daha iyi sonuçlar verir.
Şekil 4: Transfer Öğrenmenin modelin performansı üzerindeki etkisi (Kaynak: Machine Learning Mastery)
Soru 3: Farklı Transfer Öğrenim Türlerini Listeleyin.
Cevap: Transfer Öğrenme, Problem ve Çözüme göre sınıflandırılabilir. Aşağıdaki diyagram hemen hemen her şeyi özetlemektedir.
Şekil 5: Transfer Öğrenme Türleri (Kaynak: Arxiv)
1. Sorunun Sınıflandırılması:
Etiket Ayarı Bazlı Kategorizasyon:
- Transdüktif Transfer Öğrenimi
- Endüktif Transfer Öğrenimi
- Denetimsiz Transfer Öğrenimi
Mekan Ayarına Dayalı Sınıflandırma:
- Homojen Transfer Öğrenme
- Heterojen Transfer Öğrenme
2. Çözüm Sınıflandırması:
- Örnek Tabanlı Yaklaşım
- Özellik Tabanlı Yaklaşım
- Parametre Tabanlı Yaklaşım
- İlişkisel Temelli Yaklaşım
Soru 4: Etiket Ayarı Tabanlı Transfer Öğrenim Kategorizasyonu hakkında daha fazla bilgi verin.
Cevap: Daha önce kısaca tartıştığımız gibi, etiket belirlemeye dayalı olarak Transfer Öğrenme şu şekilde sınıflandırılabilir:
- Transdüktif Transfer Öğrenimi
- Endüktif Transfer Öğrenimi
- Denetimsiz Transfer Öğrenimi
Şekil 6: Etiket belirlemeye dayalı Transfer Öğreniminin grafiksel gösterimi (Kaynak: Arxiv)
a) Tümevarımsal Transfer Öğrenme: Bunda kaynak ve hedef alanlar aynıdır. Ancak kaynak ve hedef görevler yine de birbirinden farklıdır.
Model, hedef görevin performansını artırmaya yardımcı olmak için kaynak görevdeki tümevarımsal önyargıları kullanır.
Kaynak görev alanının etiketli verilere sahip olup olmadığına bağlı olarak, tümevarımsal transfer öğrenimi ayrıca Çoklu Görevli Öğrenme ve Kendi Kendine Öğretilen Öğrenme (Sıralı Öğrenme) olarak da sınıflandırılabilir.
Şekil 7: Tümevarımsal Transfer Öğrenme Türleri (Kaynak: Arxiv)
b) Transdüktif Transfer Öğrenme: Bunda kaynak ve hedef görevler benzerlikleri paylaşır. Ancak karşılık gelen alanlar farklıdır.
Bunda, kaynak alanda çok sayıda etiketli veri bulunurken, hedef alanda etiketli veriler yoktur veya varsa etiketli örnekler çok azdır.
Transdüktif Transfer Öğrenimi ayrıca Etki Alanı Uyarlaması ve Diller Arası öğrenme olarak sınıflandırılabilir.
Şekil 8: Transdüktif Transfer Öğrenme Türleri (Kaynak: Arxiv)
c) Denetimsiz Transfer Öğrenimi:
Denetimsiz öğrenme, sınıflandırılmamış veya etiketlenmemiş veri noktaları da dahil olmak üzere veri kümelerindeki kalıpları bulmak için yapay zeka algoritmalarının kullanılması anlamına gelir.
Denetimsiz Transfer Öğrenimi, Tümevarımsal Transfer Öğrenimine çok benzer.
Kaynak ve hedef etki alanı benzerliğine rağmen kaynak ve hedef görevler farklıdır.
Soru 5: Sıralı Transfer Öğrenme Nedir? Türlerini açıklayınız.
Cevap: Sıralı Transfer Öğrenme, birden fazla görevi sırayla öğrenme sürecidir. Diyelim ki bilginin birden fazla göreve aktarılması gerekiyor (T1, T2, …. Tn). Her zaman adımında belirli bir görev öğrenilir. Çok görevli öğrenmenin aksine, daha yavaştır ancak bazı avantajları vardır; özellikle eğitim sırasında tüm görevlerin mevcut olmaması durumunda.
Sıralı transfer öğrenimi ayrıca aşağıdaki dört kategoriye ayrılabilir:
- İnce ayar
- Adaptör modülleri
- Özellik tabanlı
- sıfır atış
1. İnce ayar: W ağırlıklarına sahip belirli bir önceden eğitilmiş model (M), f(W) = W' parametrelerini eşleyen yeni bir f fonksiyonunu öğrenmek için kullanılır. Parametreler tüm katmanlarda veya yalnızca seçilen birkaç katmanda değiştirilebilir. Üstelik öğrenme hızı farklı katmanlar için farklı olabilir.
Önceden eğitilmiş bir modelin çok büyük, yarı ilişkili bir veri kümesi üzerinde ince ayarının yapılmasının birçok sorun için basit ve etkili bir yaklaşım olduğu kanıtlandı.
2. Adaptör modülleri: Ağırlıkları W olan belirli bir önceden eğitilmiş model, büyüklüğü W'den daha küçük olan yeni bir parametre seti ile başlatılır.
3. Özelliğe dayalı: Karakter, kelime gibi farklı seviyelerdeki bazı temsillerin öğrenilmesine odaklanır.
cümle veya paragraf yerleştirmeleri. M modelindeki yerleştirme seti (E) değişmeden tutulur.
4. Sıfır atış: W ile önceden eğitilmiş bir M modeli verildiğinde, yeni parametreleri optimize etmek/öğrenmek için herhangi bir eğitim prosedürü uygulanmaz.
Soru 6: Çok Görevli Öğrenme Nedir?
Cevap: Çok Görevli Öğrenme, birden fazla görevi aynı anda öğrenme sürecidir. Örneğin, önceden eğitilmiş belirli bir M modeli için öğrenme, birden fazla göreve (T1, T2, · · ·, Tn).
Şekil 9: Çok Görevli Öğrenme (Kaynak: Yazar)
Soru 7: Alan Adı Uyarlaması Nedir?
Cevap: Etki alanı uyarlaması, kaynak görevinin yeni bir hedef etki alanına uyarlanmasıdır. Bu genellikle modelin hedef etki alanında farklı bir veri dağılımını öğrenmesini istediğimizde kullanılır. Örneğin, birinci alandaki (kaynak alan) hastaneler hakkında, ikinci alandaki (hedef alan) klinikler hakkında bir inceleme yazılabilir.
Yeni eğitim görevi farklı bir dağılıma sahip olduğunda veya elimizde çok az veri olduğunda alan adı uyarlaması faydalıdır.
Şekil 10: Belirli bir veri dağılımına sahip kaynak görevin, farklı veri dağılımına sahip hedef etki alanına uyarlandığı Etki Alanı Uyarlamasını gösteren diyagram (Kaynak: Yazar)
Soru 8: Diller Arası Öğrenme Ne Demektir?
Cevap: Diller arası öğrenme, kaynak görevi hedef alandaki farklı bir dile uyarlar. Bu, düşük kaynaklı bir dil ortamında ilgili görevleri öğrenmek için yüksek kaynaklı bir dilden yararlandığımızda faydalıdır. Örneğin, İspanyolca dili için eğitilmiş bir model, Fransızca veri kümesinde ince ayar yapılabilir ve bu da olumlu bir aktarım garanti etmez.
Şekil 11: Diller arası öğrenmeyi gösteren diyagram (Kaynak: Yazar)
Soru 9: Transfer Öğrenme Her Zaman Sonuçları İyileştirir mi?
Cevap: Hayır. Bazen aktarım yöntemi, "" olarak adlandırılan yeni hedef görevin performansını olumsuz etkiler.Negatif Aktarım.” Bu genellikle kaynak ve hedef görevler yeterince benzer olmadığında meydana gelir ve bu da eğitimin ilk turunun çok uzakta olmasına neden olur.
Algoritmalar her zaman benzer olarak gördüklerimizle uyuşmuyor, bu da ne tür bir eğitimin yeterli olduğuna ilişkin temelleri ve standartları anlamayı zorlaştırıyor.
Bu nedenle, transfer öğrenme yöntemiyle çalışırken karşılaşılan en önemli zorluklardan biri, ilgili görevler arasında olumlu bir aktarımın sağlanması ve daha az ilgili görevler arasında olumsuz aktarımın önlenmesidir.
Örneğin bisiklete binmeyi öğrenmek, keman çalmayı hızlı bir şekilde öğrenmemize yardımcı olamaz.
Şekil 11: İlgisiz alanlar/görevler arasındaki bilgi aktarımını gösteren diyagram
Üstelik alanlar arasındaki benzerlik, bilgi aktarımının öğrenmeyi kolaylaştıracağını garanti etmez. Bazen alanlar arasındaki benzerlikler yanıltıcı olabilir.
Örneğin, İspanyolca ve Fransızca arasında yakın ilişki bulunan Neo-Latin dilleri olmasına rağmen, İspanyolca öğrenen kişiler, yanlış sözcük dağarcığı veya çekim kullanımı gibi nedenlerle Fransızca öğrenmekte zorluk yaşayabilirler. Bunun nedeni, Fransızca'da kelime oluşumunu, kullanımını, telaffuzunu, çekimini vb. öğrenmenin, İspanyolca diline daha önce başarılı bir şekilde aşina olunması nedeniyle engellenebilmesidir.
Soru 10: Temel Ağ Veri Setine Benzer Hedef Veri Setine Sahip Olduğumuzda Ne Yapmalıyız?
Cevap: Yani hedef veri kümesinin küçük veya büyük olmasına bağlıdır.
Olgu 1:Hedef veri kümesi küçüktür + temel ağ veri kümesine benzer: Eğitim veri kümesinin küçük olduğu göz önüne alındığında, önceden eğitilmiş ağa hedef veri kümesiyle ince ayar yapılabilir. Ancak bu aşırı uyum sağlamaya neden olabilir. Ayrıca hedef veri kümesi farklı sınıflara da sahip olabilir ve bu da hedef görevdeki sınıfların sayısını değiştirebilir. Bu gibi durumlarda, bir veya iki tam bağlı katman uçtan çıkarılır ve yeni sınıf sayısını karşılayan yeni bir tam bağlı katman eklenir. Artık yalnızca yeni eklenen bu katmanlar eğitilir ve modelin geri kalanı dondurulur.
Olgu 2:Hedef veri seti çok büyük + temel ağ veri setine benzer: Elimizde yeterli veri olduğu göz önüne alındığında, son tam bağlantılı katman kaldırılır ve uygun sayıda sınıfa sahip yeni bir tam bağlantılı katman eklenir. Artık modelin tamamı hedef veri kümesi üzerinde eğitiliyor. Bu, yeni bir büyük veri kümesinde (hedef veri kümesi) aynı mimariyi korurken modelin ayarlanmasını sağlar.
Şekil 12: Hedef veri kümesinin temel ağın veri kümesine benzer olduğu durumlardaki farklı senaryoları gösteren diyagram
Soru 11: Elimizde Temel Ağ Veri Setinden Farklı Bir Hedef Veri Setimiz Varsa Ne Yapmalıyız?
Cevap: Bu yine hedef veri kümesinin küçük veya büyük olmasına bağlıdır.
Olgu 1: Hedef veri kümesi küçüktür + temel ağ veri kümesinden farklıdır: Hedef veri kümesinin farklı olduğu göz önüne alındığında, önceden eğitilmiş modelin üst düzey özelliklerinden yararlanmak yardımcı olmayacaktır. Bunun yerine, önceden eğitilmiş bir modeldeki katmanların çoğu sondan kaldırılmalı ve ardından yeni (yani hedef) veri kümesindeki sınıf sayısını karşılayan yeni katmanlar eklenmelidir. Bu şekilde, önceden eğitilmiş modellerin düşük seviyeli özelliklerinden yararlanılabilir ve geri kalan katmanlar, yeni veri setine uyacak şekilde eğitilebilir. Bazen sonuna yeni bir katman ekledikten sonra tüm ağı eğitmek faydalı olabilir.
Olgu 2: Hedef veri kümesi çok büyük + temel ağ veri kümesinden farklı: Hedef veri kümesinin büyük ve kaynak etki alanından/görevden farklı olduğu göz önüne alındığında, en uygun yaklaşım, önceden eğitilmiş modelden son katmanları çıkarmak olacaktır ve uygun sayıda sınıfa sahip yeni katmanlar eklenmeli, ardından tüm ağ hiçbir katman dondurulmadan eğitilmelidir.
Soru 12: Transfer Öğrenimi Sırasında Hangi Önemli Şeylerin Dikkate Alınması Gerekir?
Cevap: Transfer öğrenimi sürecinde aşağıdaki temel soruların ele alınması gerekir:
Şekil 13: Transfer öğrenimi sürecinde dikkate alınması gereken önemli noktalar
Ne Aktarılmalı: Bu, tüm sürecin ilk ve en önemli adımıdır. Hedef görevin etkinliğini artırmak için bilginin hangi bölümünün kaynağa özgü olduğu ve kaynak ile hedefin ortak yönlerinin neler olduğunun belirlenmesi gerekir.
Ne Zaman Aktarılmalı: Tartıştığımız gibi, bilgi aktarımı bazen hedef görev performansını azaltır (olumsuz aktarım da denir). Bu genellikle kaynak ve hedef alanlar/görevler benzer olmadığında meydana gelir. Transfer öğrenimini, hedef görev performansını iyileştirecek ve onları düşürmeyecek şekilde kullanmayı amaçlamalıyız. Bu nedenle ne zaman aktarılacağı ve ne zaman aktarılmayacağı dikkatle düşünülmelidir.
Nasıl Aktarılır: Ne ve nasıl belirlendikten sonra bilginin alanlar/görevler arasında nasıl aktarılacağını tahmin ederiz. Bu, mevcut algoritmaların ve farklı tekniklerin ayarlanmasını içerir.
Son olarak, modelin girişi, öncelikle eğitildiği boyutta olmalıdır. Eğer durum böyle değilse, girdiyi yeniden boyutlandırmak için bir ön işleme adımının eklenmesi gerekir.
Sonuç
Bu makale röportajı kazandıran en önemli on iki soruyu kapsamaktadır. Bu röportaj sorularını bir rehber olarak kullanarak konunun temellerini daha iyi anlayabilir ve etkili bir cevap formüle ederek bunu görüşmeciye sunabilirsiniz.
- Transfer öğrenmede, kaynak görevde kullanılan bir modelden elde edilen bilgi, ilgili diğer hedef görevler için bir başlangıç noktası olarak yeniden kullanılabilir.
- Transfer Öğrenme, eğitim süresinden ve kaynaklarından tasarruf sağlar ve etiketli veriler az olduğunda bile rekabetçi modeller oluşturmaya yardımcı olur.
- Sıralı Transfer Öğrenme, birden fazla görevi sırayla öğrenme sürecidir. Diyelim ki bilginin birden fazla göreve (T1, T2,….Tn) aktarılması gerekiyor.
- Önceden eğitilmiş bir modelin çok büyük, yarı ilişkili bir veri kümesi üzerinde ince ayarının yapılmasının birçok sorun için basit ve etkili bir yaklaşım olduğu kanıtlandı.
- Çok Görevli Öğrenme, birden fazla görevi aynı anda paralel olarak öğrenme sürecidir. Örneğin, belirli bir önceden eğitilmiş model M için, öğrenme birden fazla göreve (T1, T2, · · ·, Tn) aktarılır.
- Negatif transfer sırasında modelin performansında bozulmalara tanık oluyoruz.
- Transfer öğrenimi sırasında neyin, ne zaman ve nasıl transfer edileceğini düşünmeliyiz. Ayrıca modelin girdisi, öncelikle eğitildiği boyutta olmalıdır.
Bu makalede gösterilen medya Analytics Vidhya'ya ait değildir ve Yazarın takdirine bağlı olarak kullanılır.
İlgili bağlantılar
- Akıllı para. Avrupa'nın En İyi Bitcoin ve Kripto Borsası.Buraya Tıkla
- Plato blok zinciri. Web3 Metaverse Zekası. Bilgi Güçlendirildi. Buradan Erişin.
- Kaynak: https://www.analyticsvidhya.com/blog/2022/11/comprehensive-guide-for-interview-questions-on-transfer-learning/
