Yazara göre resim
 

Günümüz dünyasında sürekli olarak bilgi üretiyoruz ancak bunların çoğu yapılandırılmamış formatlarda ortaya çıkıyor. 

Buna, sosyal medyadaki çok çeşitli içeriğin yanı sıra kurumsal ağlarda depolanan sayısız PDF ve Word belgesi de dahildir. 

Metin belgeleri, web sayfaları veya sosyal medya güncellemeleri olsun, bu yapılandırılmamış kaynaklardan içgörü ve değer elde etmek önemli bir zorluk teşkil ediyor. 

Ancak GPT veya LlaMa gibi Büyük Dil Modellerinin (LLM'ler) ortaya çıkışı, yapılandırılmamış verilerle başa çıkma şeklimizde tamamen devrim yarattı. 

Bu gelişmiş modeller, yapılandırılmamış verileri yapılandırılmış, değerli bilgilere dönüştürmek ve dijital ortamımızdaki gizli hazineleri etkili bir şekilde ortaya çıkarmak için güçlü araçlar olarak hizmet vermektedir.

GPT kullanarak yapılandırılmamış verilerden içgörü elde etmenin 4 farklı yolunu görelim 👇🏻

Bu eğitim boyunca OpenAI'nin API'si ile çalışacağız. Halihazırda çalışan bir hesabınız yoksa bunu kontrol edin OpenAI API hesabınızı nasıl alacağınıza dair eğitim. 

E-ticaret yaptığımızı (bu durumda Amazon 😉) yürüttüğümüzü ve kullanıcıların ürünlerimize bıraktığı milyonlarca yorumla ilgilenmekten sorumlu olduğumuzu düşünün. 

Yüksek Lisans'ların bu tür verilerle başa çıkma fırsatını temsil ettiğini göstermek için, bir Amazon incelemelerini içeren Kaggle veri kümesi.

Orijinal veri kümesi

Yapılandırılmış veriler, tutarlı bir şekilde biçimlendirilen ve tekrarlanan veri türlerini ifade eder. Klasik örnekler arasında bankacılık işlemleri, havayolu rezervasyonları, perakende satışlar ve telefon görüşmesi kayıtları yer alır. 

Bu veriler genellikle işlem süreçlerinden kaynaklanır.

Bu tür veriler, tek biçimli formatı nedeniyle geleneksel bir veritabanı yönetim sistemi içinde saklanmaya ve yönetilmeye çok uygundur.

Öte yandan metinler genellikle yapılandırılmamış veri olarak sınıflandırılır. Tarihsel olarak, metinsel belirsizliği giderme tekniklerinin geliştirilmesinden önce, metni standart bir veritabanı yönetim sistemine dahil etmek, daha az katı yapısı nedeniyle zorlayıcıydı.

Bu da bizi şu soruya getiriyor…

Metin gerçekten yapılandırılmamış mı, yoksa hemen göze çarpmayan bir temel yapıya mı sahip?

Metin doğası gereği bir yapıya sahiptir, ancak bu karmaşıklık bilgisayarlar tarafından tanınabilen geleneksel yapılandırılmış formatla uyumlu değildir. Bilgisayarlar basit, anlaşılır yapıları yorumlayabilir ancak dil, ayrıntılı söz dizimi nedeniyle onların anlama alanının dışında kalır. 

Bu da bizi son bir soruya getiriyor:

Bilgisayarlar yapılandırılmamış verileri verimli bir şekilde işlemekte zorlanıyorsa, bu yapılandırılmamış verileri daha iyi işleme için yapılandırılmış bir formata dönüştürmek mümkün müdür?

Yapılandırılmış verilere manuel dönüştürme, zaman alıcıdır ve insan hatası riski yüksektir. Genellikle çok çeşitli formatlarda kelimelerin, cümlelerin ve paragrafların karışımından oluşur ve bu da makinelerin anlamını kavramasını ve yapılandırmasını zorlaştırır.

Ve tam da bu noktada Yüksek Lisans'lar kilit bir rol oynuyor. Veri analizi, bilgi erişimi ve bilgi yönetimi de dahil olmak üzere, bir şekilde çalışmak veya işlemek istiyorsak, yapılandırılmamış verileri yapılandırılmış bir formata dönüştürmek çok önemlidir. 

GPT-3 veya GPT-4 gibi Büyük Dil Modelleri (LLM'ler), yapılandırılmamış verilerden içgörü elde etmek için güçlü yetenekler sunar. 

Yani ana silahımız OpenAI API ve neye ihtiyacımız olduğunu tanımlamak için kendi istemlerimizi oluşturmak olacak. Yapılandırılmamış verilerden yapılandırılmış içgörüler elde etmek için bu modellerden yararlanmanın dört yolu şunlardır:

1. Metin Özetleme

Yüksek Lisans'lar raporlar, makaleler veya uzun belgeler gibi büyük hacimli metinleri verimli bir şekilde özetleyebilir. Bu, kapsamlı veri kümelerindeki önemli noktaları ve temaları hızlı bir şekilde anlamak için özellikle yararlı olabilir. 

Bizim durumumuzda, incelemenin tamamı yerine ilk özetini almak çok daha iyidir. Yani GPT bu sorunu saniyeler içinde halledebilir. 

Ve bizim tek ve en önemli görevimiz iyi bir ipucu oluşturmak olacaktır. 

Bu durumda GPT'ye şunu söyleyebilirim: 

Summarize the following review: "{review}" with a 3 words sentence.

Şimdi bunu birkaç satır kodla uygulamaya koyalım. 

Yazara göre Kod

Ve aşağıdaki gibi bir şey elde edeceğiz…

Yazara göre resim

2. Duygu Analizi

Bu modeller, müşteri yorumları, sosyal medya gönderileri veya geri bildirim anketleri gibi metin verilerinin tonunu ve duyarlılığını belirleyerek duygu analizi için kullanılabilir. 

Tüm zamanların en basit ama en çok kullanılan sınıflandırması kutupluluktur. 

• Olumlu yorumlar veya insanların üründen neden memnun oldukları. 
• Olumsuz yorumlar veya neden üzgünler?
• Nötr veya insanların ürüne karşı neden kayıtsız kaldıkları.

İşletmeler bu duyguları analiz ederek kamuoyunu, müşteri memnuniyetini ve pazar eğilimlerini ölçebilir. Böylece, her incelemeye bir kişinin karar vermesi yerine, arkadaşımız GPT'nin bunları bizim için sınıflandırmasını sağlayabiliriz. 

Yani, yine ana kod bir komut isteminden ve API'ye yapılan basit bir çağrıdan oluşacaktır. 

Bunu uygulamaya koyalım. 

Yazara göre Kod

Ve aşağıdaki gibi bir şey elde ederiz: 

Yazara göre resim

3. Tematik Analiz

Yüksek Lisans'lar büyük veri kümeleri içindeki temaları veya konuları tanımlayabilir ve kategorilere ayırabilir. Bu, özellikle ortak temaları, eğilimleri veya kalıpları anlamak için çok miktarda metni gözden geçirmeniz gerekebilecek nitel veri analizi için kullanışlıdır.

İncelemeleri analiz ederken incelemenin asıl amacını anlamak faydalı olabilir. Bazı kullanıcılar bir şeyden şikayet edecek (hizmet, kalite, maliyet…), bazı kullanıcılar ürünle ilgili deneyimlerini derecelendirecek (iyi veya kötü şekilde), bazıları ise sorular soracak. 

Yine, bu işi manuel olarak yapmak çok fazla saat gerektirir. Ancak dostumuz GPT'de yalnızca birkaç satır kod gerekir: 

Yazara göre Kod

Yazara göre resim

4. Anahtar kelime çıkarma

LLM'ler anahtar kelimeleri çıkarmak için kullanılabilir. Bu, istediğimiz herhangi bir unsuru tespit etmek anlamına gelir. 

Örneğin, incelemenin eklendiği ürünün, kullanıcının bahsettiği ürün olup olmadığını anlamak istediğimizi düşünün. Bunu yapmak için kullanıcının hangi ürünü incelediğini tespit etmemiz gerekiyor. 

Ve yine… GPT modelimizden kullanıcının bahsettiği ana ürünü bulmasını isteyebiliriz. 

Öyleyse bunu uygulamaya koyalım!

Yazara göre Kod

Yazara göre resim

Sonuç olarak, Büyük Dil Modellerinin (LLM'ler) yapılandırılmamış verileri yapılandırılmış içgörülere dönüştürmedeki dönüştürücü gücü göz ardı edilemez. Bu modellerden yararlanarak, dijital dünyamızda akan geniş yapılandırılmamış veri denizinden anlamlı bilgiler elde edebiliriz.

Tartışılan dört yöntem (metin özetleme, duygu analizi, tematik analiz ve anahtar kelime çıkarma) yüksek lisans eğitimlerinin çeşitli veri zorluklarını ele almadaki çok yönlülüğünü ve verimliliğini göstermektedir. 

Bu yetenekler kuruluşların müşteri geri bildirimlerini, pazar eğilimlerini ve operasyonel verimsizlikleri daha derinlemesine anlamalarını sağlar.
 
 

Josep Ferrer Barselona'dan bir analitik mühendisidir. Fizik mühendisliğinden mezun oldu ve şu anda insan hareketliliğine uygulanan Veri Bilimi alanında çalışıyor. Veri bilimi ve teknolojisine odaklanan yarı zamanlı bir içerik oluşturucudur. onunla iletişime geçebilirsin LinkedIn, Twitter or Orta.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://www.kdnuggets.com/5-ways-of-converting-unstructured-data-into-structured-insights-with-llms?utm_source=rss&utm_medium=rss&utm_campaign=5-ways-of-converting-unstructured-data-into-structured-insights-with-llms