Bu yazı BigBasket'ten Santosh Waddi ve Nanda Kishore Thatikonda ile birlikte yazılmıştır.

BigBasket Hindistan'ın en büyük çevrimiçi yiyecek ve bakkal mağazasıdır. Hızlı ticaret, aralıklı teslimat ve günlük abonelikler gibi birden fazla e-ticaret kanalında çalışırlar. Ayrıca fiziksel mağazalarından ve satış makinelerinden de satın alabilirsiniz. 50,000 marka ve 1,000'den fazla üründen oluşan geniş bir ürün yelpazesi sunuyorlar ve 500'den fazla şehir ve kasabada faaliyet gösteriyorlar. BigBasket 10 milyondan fazla müşteriye hizmet veriyor.

Bu yazıda BigBasket'in nasıl kullanıldığını tartışıyoruz Amazon Adaçayı Yapıcı Bilgisayarlı görüş modellerini Hızlı Tüketim Malları (FMCG) ürün tanımlaması için eğitmek, eğitim süresini yaklaşık %50 oranında azaltmalarına ve maliyetlerden %20 oranında tasarruf etmelerine yardımcı oldu.

Müşteri zorlukları

Bugün Hindistan'daki çoğu süpermarket ve fiziksel mağaza, kasada manuel ödeme olanağı sağlıyor. Bunun iki sorunu var:

• Ölçeklendirme yaparken mağaza içi operasyon ekibi için ek insan gücü, ağırlık etiketleri ve tekrarlanan eğitim gerektirir.
• Çoğu mağazada kasa tezgahı tartı tezgahlarından farklıdır ve bu da müşterinin satın alma yolculuğundaki sürtünmeyi artırır. Müşteriler sıklıkla ağırlık etiketini kaybediyor ve ödeme işlemine devam etmeden önce tartım sayaçlarına dönüp tekrar bir etiket almak zorunda kalıyor.

Otomatik ödeme işlemi

BigBasket, fiziksel mağazalarında, ürünleri benzersiz bir şekilde ayırt etmek için kameraları kullanan, yapay zeka destekli bir ödeme sistemi başlattı. Aşağıdaki şekil ödeme sürecine genel bir bakış sunmaktadır.

BigBasket ekibi, yapay zeka destekli ödeme işlemlerini desteklemek amacıyla bilgisayarlı görüntü nesnesi tanıma için açık kaynaklı, şirket içi makine öğrenimi algoritmaları çalıştırıyordu. taze (fiziksel) mağazalar. Mevcut kurulumlarını çalıştırırken aşağıdaki zorluklarla karşı karşıyaydık:

• Yeni ürünlerin sürekli olarak tanıtılmasıyla birlikte, bilgisayarlı görme modelinin sürekli olarak yeni ürün bilgilerini içermesi gerekiyordu. Sistemin, ayda 12,000'ün üzerinde yeni SKU'nun sürekli olarak eklendiği 600'den fazla Stok Saklama Biriminden (SKU) oluşan geniş bir kataloğu yönetmesi gerekiyordu.
• Yeni ürünlere ayak uydurabilmek için her ay en son eğitim verileri kullanılarak yeni bir model üretildi. Modelleri yeni ürünlere uyum sağlayacak şekilde sık sık eğitmek maliyetli ve zaman alıcıydı.
• BigBasket ayrıca pazara çıkış süresini iyileştirmek için eğitim döngüsü süresini kısaltmak istedi. SKU'lardaki artışlar nedeniyle modelin harcadığı süre doğrusal olarak artıyordu; bu da eğitim sıklığının çok yüksek olması ve uzun zaman alması nedeniyle pazara sunma sürelerini etkiledi.
• Model eğitimi için veri artırma ve uçtan uca eğitim döngüsünün tamamının manuel olarak yönetilmesi, önemli miktarda ek yük getiriyordu. BigBasket bunu üçüncü taraf bir platformda yürütüyordu ve bu da ciddi maliyetlere neden oluyordu.

Çözüme genel bakış

Bu zorlukların üstesinden gelmek için BigBasket'in mevcut FMCG ürün algılama ve sınıflandırma çözümünü SageMaker kullanarak yeniden tasarlamasını tavsiye ettik. BigBasket, tam ölçekli üretime geçmeden önce performans, maliyet ve uygunluk ölçümlerini değerlendirmek için SageMaker'da bir pilot deneme yaptı.

Amaçları, SKU tespiti için mevcut bir bilgisayarlı görüntü makine öğrenimi (ML) modeline ince ayar yapmaktı. Evrişimli sinir ağı (CNN) mimarisini kullandık. ResNet152 Görüntü sınıflandırması için. Model eğitimi için SKU başına yaklaşık 300 görüntüden oluşan büyük bir veri kümesi tahmin edildi ve bu da toplamda 4 milyonun üzerinde eğitim görüntüsüyle sonuçlandı. Belirli SKU'lar için verileri daha geniş bir çevre koşullarını kapsayacak şekilde genişlettik.

Aşağıdaki şemada çözüm mimarisi gösterilmektedir.

Tüm süreç aşağıdaki üst düzey adımlar halinde özetlenebilir:

1. Veri temizleme, açıklama ekleme ve artırma işlemlerini gerçekleştirin.
2. Verileri bir yerde saklayın Amazon Basit Depolama Hizmeti (Amazon S3) kovası.
3. SageMaker'ı kullanın ve Lustre için Amazon FSx Verimli veri artırma için.
4. Verileri eğitim, doğrulama ve test kümelerine bölün. Parlaklık için FSx kullandık ve Amazon İlişkisel Veritabanı Hizmeti (Amazon RDS) hızlı paralel veri erişimi için.
5. Özel bir tane kullan PyTorch Diğer açık kaynak kitaplıkları içeren Docker kapsayıcısı.
6. kullanım SageMaker Dağıtılmış Veri Paralelliği (SMDDP) hızlandırılmış dağıtılmış eğitim için.
7. Model eğitim ölçümlerini günlüğe kaydedin.
8. Son modeli bir S3 klasörüne kopyalayın.

Büyük Sepet kullanıldı SageMaker not defterleri ML modellerini eğitmek için mevcut açık kaynak PyTorch'larını ve diğer açık kaynak bağımlılıklarını bir SageMaker PyTorch konteynerine kolayca taşıyabildiler ve işlem hattını sorunsuz bir şekilde çalıştırabildiler. Bu, BigBasket ekibinin gördüğü ilk faydaydı çünkü kodun SageMaker ortamında çalışmasını uyumlu hale getirmek için neredeyse hiçbir değişiklik yapılması gerekmiyordu.

Model ağı, ResNet 152 mimarisinden ve bunu takip eden tamamen bağlı katmanlardan oluşur. Düşük seviyeli özellik katmanlarını dondurduk ve ImageNet modelinden transfer öğrenimi yoluyla elde edilen ağırlıkları koruduk. Toplam model parametreleri 66 milyonu eğitilebilir parametreden oluşan 23 milyondu. Bu transfer öğrenmeye dayalı yaklaşım, eğitim sırasında daha az görüntü kullanmalarına yardımcı oldu ve aynı zamanda daha hızlı yakınsamayı mümkün kıldı ve toplam eğitim süresini kısalttı.

Modelin oluşturulması ve eğitilmesi Amazon SageMaker Stüdyosu modelleri hazırlamak, oluşturmak, eğitmek ve ayarlamak için gereken her şeyi içeren entegre bir geliştirme ortamı (IDE) sağladı. Görüntüleri kırpma, döndürme ve çevirme gibi teknikler kullanılarak eğitim verilerinin arttırılması, model eğitim verilerinin ve model doğruluğunun iyileştirilmesine yardımcı oldu.

AWS altyapısı için özel olarak tasarlanmış optimize edilmiş iletişim algoritmalarını içeren SMDDP kitaplığının kullanımıyla model eğitimi %50 oranında hızlandırıldı. Model eğitimi ve veri artırma sırasında veri okuma/yazma performansını iyileştirmek amacıyla yüksek performanslı verim için Lustre için FSx'i kullandık.

Başlangıç ​​eğitim veri boyutları 1.5 TB'ın üzerindeydi. İki tane kullandık Amazon Elastik Bilgi İşlem Bulutu (Amazon EC2) p4d.24 büyük örnekler 8 GPU ve 40 GB GPU belleğe sahip. SageMaker dağıtılmış eğitimi için bulut sunucularının aynı AWS Bölgesinde ve Erişilebilirlik Alanında olması gerekir. Ayrıca S3 klasöründe depolanan eğitim verilerinin aynı Erişilebilirlik Alanında olması gerekir. Bu mimari ayrıca BigBasket'in diğer bulut sunucusu türlerine geçmesine veya önemli veri artışını karşılamak veya eğitim süresini daha da kısaltmak için mevcut mimariye daha fazla bulut sunucusu eklemesine olanak tanır.

SMDDP kütüphanesi eğitim süresinin, maliyetinin ve karmaşıklığının azaltılmasına nasıl yardımcı oldu?

Geleneksel dağıtılmış veri eğitiminde, eğitim çerçevesi GPU'lara (çalışanlara) dereceler atar ve her GPU'da modelinizin bir kopyasını oluşturur. Her eğitim yinelemesi sırasında, küresel veri kümesi parçalara (toplu parçalar) bölünür ve her çalışana bir parça dağıtılır. Daha sonra her çalışan, her GPU'daki eğitim komut dosyanızda tanımlanan ileri ve geri geçişe devam eder. Son olarak, farklı model kopyalarındaki model ağırlıkları ve gradyanlar, yinelemenin sonunda AllReduce adı verilen toplu bir iletişim işlemi aracılığıyla senkronize edilir. Her çalışan ve GPU modelin senkronize edilmiş bir kopyasına sahip olduktan sonra bir sonraki yineleme başlar.

SMDDP kütüphanesi, bu dağıtılmış veri paralel eğitim sürecinin performansını artıran kolektif bir iletişim kütüphanesidir. SMDDP kitaplığı, AllReduce gibi temel toplu iletişim işlemlerinin iletişim yükünü azaltır. AllReduce uygulaması, AWS altyapısı için tasarlanmıştır ve AllReduce işlemini geri geçişle örtüştürerek eğitimi hızlandırabilir. Bu yaklaşım, CPU'lar ve GPU'lar arasındaki çekirdek işlemlerini optimize ederek doğrusala yakın ölçeklendirme verimliliği ve daha hızlı eğitim hızı elde eder.

Aşağıdaki hesaplamalara dikkat edin:

• Genel grubun boyutu şu şekildedir: (bir kümedeki düğüm sayısı) * (düğüm başına GPU sayısı) * (toplu parça başına)
• Toplu iş parçası (küçük toplu iş), yineleme başına her GPU'ya (çalışan) atanan veri kümesinin bir alt kümesidir

BigBasket, genel eğitim sürelerini azaltmak için SMDDP kitaplığını kullandı. Lustre için FSx ile model eğitimi ve veri artırma sırasında veri okuma/yazma verimini azalttık. BigBasket, veri paralelliği sayesinde diğer alternatiflere kıyasla neredeyse %50 daha hızlı ve %20 daha ucuz eğitim elde ederek AWS'de en iyi performansı sunmayı başardı. SageMaker, eğitimin tamamlanmasının ardından eğitim hattını otomatik olarak kapatır. Proje, AWS'de %50 daha hızlı eğitim süresiyle (AWS'de 4.5 gün, eski platformda 9 gün) başarıyla tamamlandı.

Bu yazıyı yazdığım sırada BigBasket, 6 aydan fazla bir süredir komple çözümü üretimde çalıştırıyordu ve yeni şehirlere hizmet vererek sistemi ölçeklendiriyordu ve her ay yeni mağazalar ekliyoruz.

“SMDDP tekliflerini kullanarak dağıtılmış eğitime geçiş konusunda AWS ile ortaklığımız büyük bir kazanç oldu. Eğitim sürelerimizi %50 kısaltmakla kalmadı, aynı zamanda %20 daha ucuz oldu. AWS, ortaklığımızın tamamında müşteri takıntısı ve sonuç sağlama konusunda çıtayı belirledi ve vaat edilen faydaları gerçekleştirmek için tüm yol boyunca bizimle birlikte çalıştı."

– Keshav Kumar, BigBasket Mühendislik Müdürü.

Sonuç

Bu yazıda BigBasket'in, FMCG ürün tanımlaması için bilgisayarlı görme modelini eğitmek amacıyla SageMaker'ı nasıl kullandığını tartıştık. Yapay zeka destekli otomatik ödeme sisteminin uygulanması, ödeme sürecinde insan hatalarını ortadan kaldırırken inovasyon yoluyla gelişmiş bir perakende müşteri deneyimi sunuyor. SageMaker dağıtılmış eğitimini kullanarak yeni ürün katılımını hızlandırmak, SKU katılım süresini ve maliyetini azaltır. Luster için FSx'in entegre edilmesi, aylık yüzlerce yeni SKU ile verimli model yeniden eğitimi için hızlı paralel veri erişimine olanak tanır. Genel olarak, bu yapay zeka tabanlı kendi kendine ödeme çözümü, ön uç ödeme hatalarından arındırılmış, gelişmiş bir alışveriş deneyimi sağlıyor. Otomasyon ve inovasyon, perakende satış ve katılım operasyonlarını dönüştürdü.

SageMaker, kod yazma, veri toplama, veri etiketleme, model eğitimi, model ayarlama, dağıtım, izleme ve çok daha fazlası için SageMaker Studio dizüstü bilgisayar ortamı gibi uçtan uca makine öğrenimi geliştirme, dağıtım ve izleme yetenekleri sağlar. İşletmeniz bu yazıda açıklanan zorluklardan herhangi biriyle karşı karşıyaysa ve pazarlamaya yönelik zamandan tasarruf etmek ve maliyeti artırmak istiyorsa Bölgenizdeki AWS hesap ekibiyle iletişime geçin ve SageMaker'ı kullanmaya başlayın.

Yazarlar Hakkında

Santosh Waddi BigBasket'te Baş Mühendistir ve yapay zeka zorluklarını çözmede on yılı aşkın uzmanlığa sahiptir. Bilgisayarla görme, veri bilimi ve derin öğrenme konularında güçlü bir geçmişe sahip olup, HTE Bombay'da yüksek lisans derecesine sahiptir. Santosh, önemli IEEE yayınları yazmıştır ve deneyimli bir teknoloji blogu yazarı olarak, Samsung'daki görev süresi boyunca bilgisayarlı görüntü çözümlerinin geliştirilmesine de önemli katkılarda bulunmuştur.

Nanda Kishore Thatikonda BigBasket'te Veri Mühendisliği ve Analitik'i yöneten Mühendislik Müdürüdür. Nanda anormallik tespiti için birden fazla uygulama geliştirmiştir ve benzer alanda patent başvurusu yapılmıştır. Verilerle desteklenen kararları kolaylaştırmak için kurumsal düzeyde uygulamalar oluşturma, birden fazla kuruluşta veri platformları oluşturma ve raporlama platformları oluşturma üzerinde çalıştı. Nanda, Hadoop ve Apache Spark'ı kullanan Java/J18EE, Spring teknolojileri ve büyük veri çerçeveleri üzerinde 2 yıldan fazla deneyime sahiptir.

Sudhanshu Nefreti AWS'de Baş Yapay Zeka ve Makine Öğrenimi Uzmanıdır ve müşterilere MLOps ve üretken yapay zeka yolculukları hakkında tavsiyelerde bulunmak için onlarla birlikte çalışır. Önceki görevinde, temelleri açık kaynak tabanlı bir yapay zeka ve oyunlaştırma platformu oluşturmak için ekipleri kavramsallaştırdı, yarattı ve yönetti ve bunu 100'den fazla müşteriyle başarıyla ticarileştirdi. Sudhanshu'nun birkaç patenti var; 2 kitap, birkaç makale ve blog yazmıştır; ve çeşitli forumlarda bakış açısını sundu. Kendisi bir düşünce lideri ve konuşmacıdır ve yaklaşık 25 yıldır sektördedir. Dünyanın dört bir yanındaki Fortune 1000 müşterileriyle çalıştı ve son olarak Hindistan'daki dijital yerli müşterilerle çalışıyor.

Ayuş Kumar AWS'de Çözüm Mimarıdır. Çok çeşitli AWS müşterileriyle çalışıyor ve onların en yeni modern uygulamaları benimsemelerine ve bulutta yerel teknolojilerle daha hızlı yenilik yapmalarına yardımcı oluyor. Onu boş zamanlarında mutfakta deney yaparken bulacaksınız.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://aws.amazon.com/blogs/machine-learning/how-bigbasket-improved-ai-enabled-checkout-at-their-physical-stores-using-amazon-sagemaker/