Bu yazı BMW Group'tan Marc Neumann, Amor Steinberg ve Marinus Krommenhoek ile birlikte yazılmıştır.

The BMW Group Merkezi Münih, Almanya'da bulunan şirket, dünya çapında 149,000 çalışan tarafından yönetilmektedir ve 30 ülkede 15'dan fazla üretim ve montaj tesisinde üretim yapmaktadır. Bugün BMW Group dünyanın lider birinci sınıf otomobil ve motosiklet üreticisi ve birinci sınıf finans ve mobilite hizmetleri sağlayıcısıdır. BMW Group, akıllı malzeme karışımı, dijitalleşmeye yönelik teknolojik geçiş ve kaynak verimli üretim ile inovasyon lideri olarak üretim teknolojisi ve sürdürülebilirlik alanındaki trendleri belirliyor.

Giderek dijitalleşen ve hızla değişen bir dünyada, BMW Group'un iş ve ürün geliştirme stratejileri büyük ölçüde veriye dayalı karar almaya dayanmaktadır. Bununla birlikte veri bilimcilere ve makine öğrenimi (ML) mühendislerine olan ihtiyaç önemli ölçüde arttı. Bu yetenekli profesyoneller, BMW'nin iş süreçlerinin kalitesini ve verimliliğini artıran ve bilinçli liderlik kararları alınmasını sağlayan modeller oluşturmak ve uygulamakla görevlendirildi.

Veri bilimcileri ve makine öğrenimi mühendisleri, çalışmaları için yetenekli araçlara ve yeterli bilişime ihtiyaç duyar. Bu nedenle BMW, birkaç yıl önce tesislerinde merkezi bir makine öğrenimi/derin öğrenme altyapısı kurdu ve bunu sürekli olarak geliştirdi. Yapay zekanın büyümesinin önünü açmak için BMW Group'un operasyonel ek yükü, yazılım lisanslamasını ve donanım yönetimini azaltırken ölçeklenebilirlik ve esneklik konusunda bir atılım yapması gerekiyordu.

Bu yazıda BMW Group'un AWS Profesyonel Hizmetler ile işbirliği içinde bu zorlukların üstesinden gelmek için Jupyter Yönetilen (JuMa) hizmetini nasıl geliştirdiğinden bahsedeceğiz. JuMa, BMW Group'un veri analistleri, makine öğrenimi mühendisleri ve veri bilimcileri için entegre geliştirme ortamı (IDE) ile kullanıcı dostu bir çalışma alanı sağlayan yapay zeka platformunun bir hizmetidir. Tarafından desteklenmektedir Amazon SageMaker Stüdyosu ve Python için JupyterLab ve R için Posit Workbench'i sağlar. Bu teklif, BMW ML mühendislerinin kod merkezli veri analitiği ve ML gerçekleştirmesine olanak tanır, self servis yeteneği ve altyapı otomasyonu sağlayarak geliştirici üretkenliğini artırır ve BMW'nin merkezi BT araçları ortamıyla sıkı bir şekilde bütünleşir.

JuMa artık BMW Group'taki tüm veri bilimcilerin, makine öğrenimi mühendislerinin ve veri analistlerinin kullanımına sunuldu. Hizmet, dünya çapındaki veri bilimi ve mühendislik ekipleri arasında kusursuz işbirliğini kolaylaştıran uygun maliyetli ve ölçeklenebilir bir geliştirme ortamı sağlayarak BMW genelinde makine öğrenimi geliştirme ve üretim iş akışlarını (MLOps) kolaylaştırır. Bu, daha hızlı denemeler ve daha kısa fikir doğrulama döngüleri ile sonuçlanır. Üstelik JuMa altyapısına dayalı AWS sunucusuz ve yönetilen hizmetler, DevOps ekiplerinin operasyonel yükünün azaltılmasına yardımcı olur ve onların BMW Group'ta kullanım örneklerini etkinleştirmeye ve yapay zeka inovasyonunu hızlandırmaya odaklanmalarına olanak tanır.

Şirket içi yapay zeka platformunu büyütmenin zorlukları

JuMa hizmetini sunmadan önce dünya çapındaki BMW ekipleri, ekiplere JupyterHub ve RStudio ortamları sağlayan iki şirket içi platform kullanıyordu. Bu platformlar CPU, GPU ve bellek açısından BMW Group'ta yapay zekanın ölçeklenebilirliğine izin vermeyecek kadar sınırlıydı. Bu platformları daha fazla şirket içi donanım, daha fazla yazılım lisansı ve destek ücreti yöneterek ölçeklendirmek, önemli miktarda ön yatırım ve bakımı için yüksek çaba gerektirecektir. Buna ek olarak, DevOps ekipleri için yüksek operasyonel çaba gerektiren sınırlı self servis yetenekleri de mevcuttu. Daha da önemlisi, bu platformların kullanımı BMW Group'un BT'ye öncelik veren bulut stratejisiyle uyumsuzdu. Örneğin, bu platformları kullanan ekipler, AI/ML prototiplerinin AWS üzerinde çalışan çözümün endüstriyelleştirilmesine kolay geçişini kaçırdılar. Buna karşılık, halihazırda AWS'yi doğrudan deneyler için kullanan veri bilimi ve analiz ekiplerinin, aynı zamanda BMW Group'un iç politikalarına, yerel yasalara ve düzenlemelere uygunluğu sağlarken AWS altyapılarını oluşturma ve işletmeyle de ilgilenmeleri gerekiyordu. Bu, AWS hesaplarının sipariş edilmesinden internet erişiminin sınırlandırılmasına, izin verilen listedeki paketlerin kullanılmasından Docker görüntülerinin güncel tutulmasına kadar çeşitli yapılandırma ve yönetim etkinliklerini içeriyordu.

Çözüme genel bakış

JuMa, AWS üzerinde oluşturulmuş, tümüyle yönetilen, çok kiracılı, güvenliği güçlendirilmiş bir yapay zeka platform hizmetidir. Adaçayı Yapıcı Stüdyo merkezde. Altyapının ana yapı taşları olarak AWS sunucusuz ve yönetilen hizmetlerine güvenen JuMa DevOps ekibinin, sunuculara yama uygulama, depolamayı yükseltme veya diğer altyapı bileşenlerini yönetme konusunda endişelenmesine gerek yok. Hizmet, tüm bu süreçleri otomatik olarak yöneterek genel olarak güncel ve kullanıma hazır, güçlü bir teknik platform sağlar.

JuMa kullanıcıları, ekipleri için güvenli ve yalıtılmış bir geliştirme ve deneme ortamı oluşturmak amacıyla self-servis portal aracılığıyla zahmetsizce bir çalışma alanı sipariş edebilir. Bir JuMa çalışma alanı sağlandıktan sonra, kullanıcılar sadece birkaç tıklamayla SageMaker Studio'da JupyterLab veya Posit çalışma tezgahı ortamlarını başlatabilir ve en aşina oldukları araçları ve çerçeveleri kullanarak geliştirmeye hemen başlayabilirler. JuMa, kimlik ve erişim yönetimi, roller ve haklar yönetimi de dahil olmak üzere bir dizi BMW Merkezi BT hizmetiyle sıkı bir şekilde entegre edilmiştir. BMW Bulut Veri Merkezi (BMW'nin AWS'deki veri gölü) ve şirket içi veritabanları. İkincisi, AI/ML ekiplerinin, yetkilendirildikleri sürece, veri işlem hatları oluşturmaya gerek kalmadan gerekli verilere sorunsuz bir şekilde erişmelerine yardımcı olur. Ayrıca not defterleri, sürüm kontrolünü kullanarak işbirliği yapmak için kurumsal Git depolarına entegre edilebilir.

Çözüm, AI/ML ekipleri için AWS hesap yönetimi, yapılandırması ve özelleştirmesiyle ilişkili tüm teknik karmaşıklıkları ortadan kaldırarak onların tamamen AI inovasyonuna odaklanmasına olanak tanır. Platform, çalışma alanı konfigürasyonunun BMW'nin güvenlik ve uyumluluk gereksinimlerini kutudan çıktığı haliyle karşılamasını sağlar.

Aşağıdaki diyagramda mimarinin üst düzey bağlam görünümü açıklanmaktadır.

Kullanıcı yolculuğu

BMW AI/ML ekip üyeleri, JuMa çalışma alanlarını BMW'nin standart katalog hizmetini kullanarak sipariş edebilirler. Bölüm yöneticisinin onayından sonra, sipariş edilen JuMa çalışma alanı platform tarafından tamamen otomatik olarak sağlanır. Çalışma alanı sağlama iş akışı aşağıdaki adımları içerir (mimari diyagramında numaralandırıldığı gibi).

1. Bir veri bilimci ekibi, BMW Kataloğunda yeni bir JuMa çalışma alanı sipariş ediyor. JuMa, çalışma alanı için otomatik olarak yeni bir AWS hesabının temel hazırlığını yapar. Bu, yukarıda belirtilen birleşik model hesap yapısını takip eden çalışma alanları arasında tam izolasyon sağlar. SageMaker Studio Yönetimi En İyi Uygulamaları.
2. JuMa bir çalışma alanı yapılandırır (ki bu bir Sagemaker alanı) yalnızca önceden tanımlanmış izin verir Amazon Adaçayı Yapıcı deneme ve geliştirme için gerekli özellikler, belirli özel çekirdekler ve yaşam döngüsü yapılandırmaları. Ayrıca dizüstü bilgisayarların güvenli bir ortamda çalışmasını sağlayan gerekli alt ağları ve güvenlik gruplarını da kurar.
3. Çalışma alanları hazırlandıktan sonra yetkili kullanıcılar JuMa portalında oturum açar ve SageMaker önceden imzalanmış bir URL kullanarak çalışma alanları içinden SageMaker Studio IDE'ye erişir. Kullanıcılar bir SageMaker Studio özel alanı veya bir özel alan açma arasında seçim yapabilirler. paylaşılan alan. Paylaşılan alanlar, aynı not defterleri üzerinde paralel olarak çalışabilen bir ekibin farklı üyeleri arasındaki işbirliğini teşvik ederken, özel alanlar tek başına iş yükleri için bir geliştirme ortamına olanak tanır.
4. Kullanıcılar, BMW veri portalını kullanarak şirket içi veritabanlarına veya BMW'nin Bulut Veri Merkezinde depolanan verilere erişim talep edebilir ve bu verileri, veri hazırlama ve analizden model eğitimi ve doğrulamaya kadar çalışma alanlarında geliştirme ve deneme için kullanılabilir hale getirebilirler.

JuMa'da bir yapay zeka modeli geliştirilip doğrulandıktan sonra yapay zeka ekipleri, bu modeli hızlı ve zahmetsizce üretime dağıtmak için BMW yapay zeka platformunun MLOP hizmetini kullanabilir. Bu hizmet, kullanıcılara yalnızca birkaç tıklamayla birkaç dakika içinde kurulabilen SageMaker'ı kullanarak AWS'de üretim düzeyinde bir makine öğrenimi altyapısı ve işlem hatları sağlar. Kullanıcıların yalnızca modellerini sağlanan altyapı üzerinde barındırması ve işlem hattını kendi özel kullanım senaryosu ihtiyaçlarını karşılayacak şekilde özelleştirmesi yeterlidir. Bu şekilde yapay zeka platformu, BMW Group'taki tüm yapay zeka yaşam döngüsünü kapsar.

JuMa'nın özellikleri

AWS'deki en iyi uygulama mimarisi izlenerek JuMa hizmeti aşağıdakilere göre tasarlandı ve uygulandı: AWS İyi Mimari Çerçeve. Her Well-Architected sütununun mimari kararları aşağıdaki bölümlerde ayrıntılı olarak açıklanmaktadır.

Güvenlik ve uyumluluk

Kiracılar arasında tam izolasyon sağlamak için her çalışma alanı, yetkili kullanıcıların analiz görevlerinin yanı sıra AI/ML modellerini geliştirme ve deneme konusunda ortaklaşa işbirliği yapabileceği kendi AWS hesabını alır. JuMa portalının kendisi, politika tabanlı izolasyonu kullanarak çalışma zamanında izolasyonu zorlar. AWS Kimlik ve Erişim Yönetimi (IAM) ve JuMa kullanıcısının bağlamı. Bu strateji hakkında daha fazla bilgi için bkz. IAM ile çalışma zamanı, politika tabanlı izolasyon.

Veri bilimcileri, etki alanlarına yalnızca BMW ağı üzerinden, portal tarafından oluşturulan önceden imzalanmış URL'ler aracılığıyla erişebilirler. Etki alanlarında doğrudan internet erişimi devre dışı bırakılır. Sagemaker etki alanı ayrıcalıkları kullanılarak oluşturulmuştur. Amazon SageMaker Rol Yöneticisi SageMaker gibi geliştirme için gereken AWS hizmetlerine en az ayrıcalıklı erişim sağlamak için kişiler, Amazon Atina, Amazon Basit Depolama Hizmeti (Amazon S3) ve AWS Tutkal. Bu rol, ML korkuluklarını (bkz. Yönetişim ve kontrol), her ikisinde de gerçekleşecek olan ML eğitiminin uygulanması dahil Amazon Sanal Özel Bulut (Amazon VPC) veya internet olmadan ve yalnızca JuMa'nın özel olarak incelenmiş ve güncel SageMaker görüntülerinin kullanılmasına izin verir.

JuMa geliştirme, deneme ve anlık analiz için tasarlandığından, verileri 30 gün sonra kaldırmak için saklama politikaları uygular. Gerektiğinde verilere erişmek ve bunları uzun süre saklamak için JuMa, BMW Bulut Veri Merkezi ve BMW şirket içi veritabanlarıyla sorunsuz bir şekilde bütünleşir.

Son olarak JuMa, örneğin BMW'nin veri egemenliğini sağlamak için verileri yerel olarak işlemesini gerektiren özel yerel yasal durumlara uymak için birden fazla Bölgeyi destekler.

Operasyonel mükemmellik

Hem JuMa platformunun arka ucu hem de çalışma alanları şu şekilde uygulanır: AWS sunucusuz ve yönetilen hizmetler. Bu hizmetlerin kullanılması, operasyon gerektirmeyen bir hizmet olmaya çabalayan BMW platform ekibinin uçtan uca çözümü sürdürme ve çalıştırma çabasını en aza indirmeye yardımcı olur. Hem çalışma alanı hem de portal kullanılarak izlenir Amazon Bulut İzleme Temel performans göstergelerini (KPI'ler) kontrol etmek ve platform ekibini herhangi bir sorun hakkında proaktif olarak bilgilendirmek için günlükler, ölçümler ve alarmlar. Ek olarak, AWS Röntgeni dağıtılmış izleme sistemi, birden fazla bileşen boyunca istekleri izlemek ve CloudWatch günlüklerine çalışma alanıyla ilgili bağlamla açıklama eklemek için kullanılır.

JuMa altyapısındaki tüm değişiklikler, kod olarak altyapı (IaC) kullanılarak otomasyon yoluyla yönetilir ve uygulanır. Bu, manuel çalışmaları ve insan hatalarını azaltmaya, tutarlılığı artırmaya ve her iki JuMa platformu arka uç çalışma alanında tekrarlanabilir ve sürüm kontrollü değişiklikler sağlamaya yardımcı olur. Spesifik olarak, tüm çalışma alanları, temel olarak oluşturulan bir katılım süreci aracılığıyla sağlanır ve güncellenir. AWS Basamak İşlevleri, AWS Kod Oluşturmave Terraform. Bu nedenle, yeni çalışma alanlarını JuMa platformuna eklemek için manuel yapılandırmaya gerek yoktur.

Maliyet optimizasyonu

JuMa, AWS sunucusuz hizmetlerini kullanarak AI/ML ekiplerinin ihtiyaçlarına göre geliştirme ve deneme faaliyetleri sırasında kullanılan kaynaklar için isteğe bağlı ölçeklenebilirlik, önceden onaylanmış bulut sunucusu boyutları ve kullandıkça öde modeli sağlar. Maliyetleri daha da optimize etmek için JuMa platformu, SageMaker Studio içindeki boş kaynakları izler ve tanımlar ve kullanılmayan kaynaklara yönelik harcamaları önlemek için bunları otomatik olarak kapatır.

Sürdürülebilirlik

JuMa, önemli miktarda elektrik tüketen ve kullanılmadığında bile CO2 emisyonu üreten BMW'nin analitik ve derin öğrenme iş yüklerine yönelik iki şirket içi platformunun yerini alıyor. BMW, AI/ML iş yüklerini şirket içinden AWS'ye taşıyarak şirket içi platformları hizmet dışı bırakarak çevresel etkisini azaltacak.

Ayrıca, JuMa'da uygulanan boşta kalan kaynakların otomatik olarak kapatılması mekanizması, veri saklama politikaları ve sahiplerine yönelik çalışma alanı kullanım raporları, AWS'de AI/ML iş yüklerini çalıştırmanın çevresel ayak izini daha da azaltmaya yardımcı olur.

Performans verimliliği

BMW ekipleri, SageMaker Studio'yu kullanarak deneylerini hızlandırmaya yardımcı olabilecek en yeni SageMaker özelliklerinin kolayca benimsenmesinden yararlanır. Örneğin, kullanabilirler Amazon SageMaker Hızlı Başlangıç En son önceden eğitilmiş açık kaynak modellerini kullanma yetenekleri. Ek olarak, geliştirme ortamı aynı AWS temel hizmetlerini sağladığından ancak geliştirme yetenekleriyle sınırlı olduğundan, AI/ML ekibinin deneme aşamasından çözüm endüstrileştirmesine geçiş çabalarının azaltılmasına yardımcı olur.

Güvenilirlik

SageMaker Studio etki alanları, internet erişimini yönetmek ve yalnızca amaçlanan AWS hizmetlerine erişime izin vermek için yalnızca VPC modunda dağıtılır. Ağ, tek bir arıza noktasına karşı koruma sağlamak için iki Erişilebilirlik Alanında konuşlandırılarak platformun kullanıcıları için daha fazla esneklik ve kullanılabilirlik sağlaması sağlanır.

JuMa çalışma alanlarındaki değişiklikler, müşteri ortamlarını yükseltmeden önce IaC ve CI/CD ardışık düzenleri kullanılarak geliştirme ve entegrasyon ortamlarına otomatik olarak dağıtılır ve test edilir.

Son olarak, depolanan veriler Amazon Elastik Dosya Sistemi SageMaker Studio etki alanları için (Amazon EFS), yedekleme amacıyla birimler silindikten sonra tutulur.

Sonuç

Bu yazıda BMW Group'un AWS ProServe ile işbirliği içinde SageMaker Studio'yu ve diğer AWS sunucusuz ve yönetilen hizmetlerini kullanarak AWS'de nasıl tam olarak yönetilen bir AI platform hizmeti geliştirdiğini anlattık.

JuMa ile BMW'nin AI/ML ekipleri, çığır açıcı AI çözümleri için denemeleri ve pazara sunma süresini hızlandırarak yeni iş değerlerinin kilidini açma gücüne sahip oluyor. Ayrıca BMW, şirket içi platformundan geçiş yaparak genel operasyonel çabaları ve maliyetleri azaltırken aynı zamanda sürdürülebilirliği ve genel güvenlik durumunu da artırabilir.

AI/ML denemelerinizi ve geliştirme iş yüklerinizi AWS'de çalıştırma hakkında daha fazla bilgi edinmek için şu adresi ziyaret edin: Amazon SageMaker Stüdyosu.

Yazarlar Hakkında

Marc Neumann BMP Group'ta merkezi Yapay Zeka Platformunun başkanıdır. BMW Group genelinde iş değeri yaratmak amacıyla yapay zeka teknolojisini kullanmaya yönelik stratejiler geliştirmek ve uygulamaktan sorumludur. Başlıca hedefi, yapay zeka kullanımının sürdürülebilir ve ölçeklenebilir olmasını sağlamaktır; bu, uzun vadeli büyüme ve yenilikçiliği teşvik etmek için kuruluş genelinde tutarlı bir şekilde uygulanabileceği anlamına gelir. Neumann, liderliği sayesinde BMW Group'u otomotiv endüstrisinde ve ötesinde yapay zeka odaklı inovasyon ve değer yaratmada lider olarak konumlandırmayı hedefliyor.

Amor Steinberg BMW Group'ta Makine Öğrenimi Mühendisidir ve BMW Group'taki mühendisler ve veri bilimcileri için kod merkezli bir analiz ve makine öğrenimi çalışma tezgahı sağlamayı amaçlayan yeni bir hizmet olan Jupyter Managed'ın hizmet lideridir. Finansal kurumlarda DevOps Mühendisi olarak geçmiş deneyimi, Avrupa Birliği'ndeki bankaların karşılaştığı zorluklara ilişkin benzersiz bir anlayışa sahip olmasını ve teknolojik yenilik çabası, yasa ve düzenlemelere uyma ve müşteriler için güvenliği en üst düzeye çıkarma arasındaki dengeyi korumasını sağladı.

Marinus Krommenhoek BMW Group'ta Kıdemli Bulut Çözüm Mimarı ve Yazılım Geliştiricisidir. Yüksek değer katan, bakımı ve çalıştırılması kolay en son teknolojiye sahip hizmetlerle BT ortamını modernleştirme konusunda heveslidir. Marinus mikro hizmetlerin, sunucusuz mimarilerin ve çevik çalışmanın büyük bir savunucusudur. Büyük işletmelerde dünya çapında dağıtılmış ekiplerle çalışma konusunda bir geçmişi var.

Nicolas Jacob Baer İsviçre merkezli, veri mühendisliği ve makine öğrenimine güçlü bir şekilde odaklanan AWS ProServe'de Baş Bulut Uygulama Mimarıdır. Veri platformları tasarlamak, gelişmiş analizler ve makine öğrenimi kullanım senaryoları oluşturmak için kurumsal müşterilerle yakın işbirliği içinde çalışıyor.

Joaquin Rinaudo AWS ProServe'de Baş Güvenlik Mimarıdır. Geliştiricilerin yazılım kalitelerini artırmalarına yardımcı olacak çözümler oluşturma konusunda tutkulu. AWS'den önce, mobil güvenlikten buluta ve uyumlulukla ilgili konulara kadar güvenlik sektöründeki birden fazla alanda çalıştı. Joaquin boş zamanlarında ailesiyle vakit geçirmekten ve bilim kurgu romanları okumaktan hoşlanıyor.

Şukhrat Khodjaev AWS ProServe'de Kıdemli Küresel Katılım Yöneticisidir. AWS müşterilerinin veri kullanımı yoluyla iş değerlerini en üst düzeye çıkarmasını sağlayan etkili büyük veri ve AI/ML çözümleri sunma konusunda uzmanlaşmıştır.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://aws.amazon.com/blogs/machine-learning/accelerating-ai-ml-development-at-bmw-group-with-amazon-sagemaker-studio/