Bu, Nafi Ahmet Turgut, Hasan Burak Yel ve Getir'den Damla Şentürk'ün ortak yazdığı bir konuk yazısıdır.

2015 yılında kurulan, getir ultra hızlı market teslimatı alanında kendisini öncü olarak konumlandırdı. Bu yenilikçi teknoloji şirketi, ilgi çekici "dakikalar içinde market alışverişi" teklifiyle son kilometre teslimat segmentinde devrim yarattı. Türkiye, İngiltere, Hollanda, Almanya ve Amerika Birleşik Devletleri'ndeki varlığıyla Getir, dikkate alınması gereken çok uluslu bir güç haline geldi. Bugün Getir markası, hepsi tek bir şemsiye altında sinerjik olarak çalışan, dokuz farklı sektörü kapsayan çok çeşitli bir holdingi temsil ediyor.

Bu yazıda, ticari ekiplere yardımcı olmak için uçtan uca bir ürün kategorisi tahmin hattını nasıl oluşturduğumuzu açıklıyoruz. Amazon Adaçayı Yapıcı ve AWS Toplu İşmodel eğitim süresini %90 oranında azaltır.

Mevcut ürün yelpazemizi ayrıntılı bir şekilde anlamak, günümüzün hızlı ve rekabetçi pazarında birçok işletmenin yanı sıra bizim de karşılaştığımız önemli bir zorluktur. Bu soruna etkili bir çözüm, ürün kategorilerinin tahminidir. Kapsamlı bir kategori ağacı oluşturan bir model, ticari ekiplerimizin mevcut ürün portföyümüzü rakiplerimizinkiyle karşılaştırmasına olanak tanıyarak stratejik bir avantaj sunar. Bu nedenle asıl sorunumuz, doğru bir ürün kategorisi tahmin modelinin oluşturulması ve uygulanmasıdır.

Bu zorluğun üstesinden gelmek ve karmaşık makine öğrenimi (ML) ve tahmine dayalı analitik alanında etkili bir şekilde gezinmek için AWS tarafından sağlanan güçlü araçlardan yararlandık. Çabalarımız, SageMaker ve AWS Batch'in güçlü yönlerini birleştiren uçtan uca bir ürün kategorisi tahmin hattının başarıyla oluşturulmasına yol açtı.

Tahmine dayalı analitiklerin bu yeteneğinin, özellikle de ürün kategorilerinin doğru tahmin edilmesinin paha biçilmez olduğu kanıtlanmıştır. Ekiplerimize envanter yönetimini optimize eden, müşteri etkileşimlerini geliştiren ve pazardaki varlığımızı güçlendiren kritik veri odaklı bilgiler sağladı.

Bu yazıda açıkladığımız metodoloji, özellik seti toplamanın ilk aşamasından tahmin hattının nihai uygulamasına kadar uzanır. Stratejimizin önemli bir yönü, önceden eğitilmiş BERT modellerini yedi farklı dil için iyileştirmek amacıyla SageMaker ve AWS Batch'in kullanılması olmuştur. Ayrıca AWS'nin nesne depolama hizmetiyle kusursuz entegrasyonumuz Amazon Basit Depolama Hizmeti (Amazon S3), bu geliştirilmiş modellerin verimli bir şekilde saklanması ve bunlara erişilmesinin anahtarı olmuştur.

SageMaker, tümüyle yönetilen bir makine öğrenimi hizmetidir. SageMaker ile veri bilimcileri ve geliştiriciler, makine öğrenimi modellerini hızla ve zahmetsizce oluşturup eğitebilir ve ardından bunları doğrudan üretime hazır, barındırılan bir ortama dağıtabilir.

Tam olarak yönetilen bir hizmet olan AWS Batch, her ölçekteki toplu bilgi işlem iş yüklerini çalıştırmanıza yardımcı olur. AWS Batch, bilgi işlem kaynaklarını otomatik olarak tedarik eder ve iş yüklerinin miktarına ve ölçeğine göre iş yükü dağıtımını optimize eder. AWS Batch ile toplu bilgi işlem yazılımı yüklemenize veya yönetmenize gerek yoktur; böylece zamanınızı sonuçları analiz etmeye ve sorunları çözmeye odaklayabilirsiniz. Bir örneğin GPU'larını kullanan işleri yürütmemize yardımcı olan GPU işlerini kullandık.

Çözüme genel bakış

Bu projede Getir'in veri bilimi ekibinden ve altyapı ekibinden beş kişi birlikte çalıştı. Proje bir ayda tamamlandı ve bir haftalık test sürecinin ardından üretime geçildi.

Aşağıdaki diyagram, çözümün mimarisini göstermektedir.

Model hattı her ülke için ayrı ayrı yürütülür. Mimari, her ülke için tanımlanmış programlara göre çalışan iki AWS Batch GPU cron işi içerir.

SageMaker ve AWS Batch GPU kaynaklarını stratejik olarak dağıtarak bazı zorlukların üstesinden geldik. Her bir zorluğun üstesinden gelmek için kullanılan süreç aşağıdaki bölümlerde ayrıntılı olarak açıklanmaktadır.

AWS Batch GPU işleriyle çok dilli BERT modellerinde ince ayar yapma

Çeşitli kullanıcı tabanımız için birden fazla dili destekleyecek bir çözüm aradık. BERT modelleri, karmaşık doğal dil görevlerini etkili bir şekilde yerine getirme konusundaki yerleşik yetenekleri nedeniyle bariz bir seçimdi. Bu modelleri ihtiyaçlarımıza göre uyarlamak için tek düğümlü GPU bulut sunucusu işlerini kullanarak AWS'nin gücünden yararlandık. Bu, desteğe ihtiyaç duyduğumuz yedi dilin her biri için önceden eğitilmiş BERT modellerinde ince ayar yapmamıza olanak sağladı. Bu yöntemle ürün kategorilerini tahmin etmede yüksek hassasiyet sağladık ve olası dil engellerini aştık.

Amazon S3 kullanarak verimli model depolama

Bir sonraki adımımız model depolama ve yönetimini ele almaktı. Bunun için ölçeklenebilirliği ve güvenliğiyle bilinen Amazon S3'ü seçtik. İnce ayarlı BERT modellerimizi Amazon S3'te depolamak, kuruluşumuz içindeki farklı ekiplere kolay erişim sağlamamıza olanak tanıyarak dağıtım sürecimizi önemli ölçüde kolaylaştırdı. Bu, operasyonlarımızda çeviklik elde etmede ve ML çabalarımızın kusursuz entegrasyonunda çok önemli bir husustu.

Uçtan uca tahmin hattı oluşturma

Önceden eğitilmiş modellerimizden en iyi şekilde yararlanmak için verimli bir üretim hattına ihtiyaç vardı. Bu modelleri ilk olarak, düşük gecikmeyle gerçek zamanlı tahminlere izin veren ve böylece kullanıcı deneyimimizi geliştiren bir eylem olan SageMaker'da kullandık. Operasyonlarımız için aynı derecede hayati önem taşıyan daha büyük ölçekli toplu tahminler için AWS Batch GPU işlerinden yararlandık. Bu, kaynaklarımızın en iyi şekilde kullanılmasını sağlayarak bize mükemmel bir performans ve verimlilik dengesi sağladı.

SageMaker MME'lerle gelecekteki olanakları keşfetme

ML hattımızda gelişmeye ve verimlilik aramaya devam ederken, keşfetmeye istekli olduğumuz yollardan biri, ince ayarlı modellerimizi dağıtmak için SageMaker çoklu model uç noktalarını (MME'ler) kullanmaktır. MME'lerle, çeşitli ince ayarlı modellerin dağıtımını potansiyel olarak kolaylaştırabilir, etkili model yönetimi sağlarken aynı zamanda gölge değişkenleri, otomatik ölçeklendirme ve SageMaker'ın yerel yeteneklerinden de faydalanabiliriz. Amazon Bulut İzleme entegrasyon. Bu keşif, tahmine dayalı analitik yeteneklerimizi geliştirmeye ve müşterilerimize üstün deneyimler sağlamaya yönelik sürekli arayışımızla uyumludur.

Sonuç

SageMaker ve AWS Batch'in başarılı entegrasyonu yalnızca belirli zorluklarımızı gidermekle kalmadı, aynı zamanda operasyonel verimliliğimizi de önemli ölçüde artırdı. Gelişmiş bir ürün kategorisi tahmin hattının uygulanmasıyla ticari ekiplerimizi veriye dayalı içgörülerle güçlendirebiliyor, böylece daha etkili karar almayı kolaylaştırabiliyoruz.

Sonuçlarımız yaklaşımımızın etkinliği hakkında çok şey anlatıyor. Hizmet verdiğimiz her ülke için ürün çeşitlerini şekillendirmede önemli bir rol oynayan kategori ayrıntı düzeyinin dört düzeyinin tamamında %80'lik bir tahmin doğruluğuna ulaştık. Bu düzeydeki hassasiyet, erişimimizi dil engellerinin ötesine taşır ve çeşitli kullanıcı tabanımıza en yüksek doğrulukla hitap etmemizi sağlar.

Üstelik planlanmış AWS Batch GPU işlerini stratejik olarak kullanarak model eğitim sürelerimizi %90 oranında azaltmayı başardık. Bu verimlilik süreçlerimizi daha da kolaylaştırdı ve operasyonel çevikliğimizi güçlendirdi. Amazon S3'ü kullanan verimli model depolama, hem gerçek zamanlı hem de toplu tahminleri dengeleyerek bu başarıda kritik bir rol oynadı.

SageMaker ile kendi makine öğrenimi işlem hatlarınızı oluşturmaya nasıl başlayacağınız hakkında daha fazla bilgi için bkz. Amazon SageMaker kaynakları. Toplu işleri düşük operasyonel ek yük ile çalıştırmak için düşük maliyetli, ölçeklenebilir bir çözüm arıyorsanız AWS Batch mükemmel bir seçenektir. Başlamak için bkz. AWS Batch'i Kullanmaya Başlarken.

Yazarlar Hakkında

Nafi Ahmet Turgut Yüksek lisansını Elektrik-Elektronik Mühendisliği alanında tamamladı ve yüksek lisans araştırma bilimcisi olarak çalıştı. Odak noktası, sinir ağı anormalliklerini simüle etmek için makine öğrenimi algoritmaları oluşturmaktı. Getir'e 2019 yılında katılmıştır ve şu anda Kıdemli Veri Bilimi ve Analitik Müdürü olarak çalışmaktadır. Ekibi, Getir için uçtan uca makine öğrenimi algoritmalarının ve veri odaklı çözümlerin tasarlanması, uygulanması ve sürdürülmesinden sorumludur.

Hasan Burak Yel Lisans derecesini Boğaziçi Üniversitesi Elektrik-Elektronik Mühendisliği bölümünde aldı. Turkcell'de ağırlıklı olarak zaman serisi tahmini, veri görselleştirme ve ağ otomasyonu üzerine çalıştı. Getir'e 2021 yılında katılmıştır ve şu anda Arama, Öneri ve Büyüme alanlarından sorumlu Veri Bilimi ve Analitik Yöneticisi olarak çalışmaktadır.

Damla Şentürk Lisans eğitimini Galatasaray Üniversitesi Bilgisayar Mühendisliği bölümünde tamamladı. Boğaziçi Üniversitesi'nde Bilgisayar Mühendisliği alanında yüksek lisans eğitimine devam etmektedir. Getir'e 2022 yılında katılmış olup, Veri Bilimcisi olarak çalışmaktadır. Ticari, tedarik zinciri ve keşifle ilgili projelerde çalıştı.

Esra Kayabalı AWS'de Kıdemli Çözüm Mimarıdır ve veri ambarı, veri gölleri, büyük veri analitiği, toplu ve gerçek zamanlı veri akışı ve veri entegrasyonu dahil olmak üzere analitik alanında uzmanlaşmıştır. 12 yıllık yazılım geliştirme ve mimarlık tecrübesine sahiptir. Bulut teknolojilerini öğrenme ve öğretme konusunda tutkulu.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://aws.amazon.com/blogs/machine-learning/how-getir-reduced-model-training-durations-by-90-with-amazon-sagemaker-and-aws-batch/