Slika avtorja
 

Številna podjetja danes želijo vključiti AI v svoj potek dela, zlasti s fino nastavitvijo velikih jezikovnih modelov in njihovim uvajanjem v proizvodnjo. Zaradi tega povpraševanja je inženiring MLOps postal vse bolj pomemben. Namesto da najemajo samo podatkovne znanstvenike ali inženirje strojnega učenja, podjetja iščejo posameznike, ki lahko avtomatizirajo in poenostavijo proces usposabljanja, ocenjevanja, ustvarjanja različic, uvajanja in spremljanja modelov v oblaku.

V tem vodniku za začetnike se bomo osredotočili na sedem bistvenih korakov za obvladovanje inženiringa MLOps, vključno z nastavitvijo okolja, sledenjem poskusu in različicam, orkestracijo, neprekinjeno integracijo/neprekinjeno dostavo (CI/CD), streženjem in uvajanjem modela ter spremljanjem modela . V zadnjem koraku bomo zgradili popolnoma avtomatiziran cevovod za strojno učenje od konca do konca z uporabo različnih orodij MLOps.

Če želite usposobiti in oceniti modele strojnega učenja, boste morali najprej nastaviti lokalno okolje in okolje v oblaku. To vključuje shranjevanje cevovodov, modelov in ogrodij strojnega učenja v kontejnerje z uporabo Dockerja. Po tem se boste naučili uporabljati Kubernetes za avtomatizacijo uvajanja, skaliranja in upravljanja teh kontejnerskih aplikacij. 

Ob koncu prvega koraka se boste seznanili s platformo v oblaku po vaši izbiri (kot je AWS, Google Cloud ali Azure) in se naučili, kako uporabljati Terraform za infrastrukturo kot kodo za avtomatizacijo nastavitve vaše infrastrukture v oblaku. 

Opomba: Bistveno je, da osnovno razumete Docker, Git in poznate orodja ukazne vrstice. Vendar, če imate izkušnje s programskim inženiringom, boste ta del morda lahko preskočili.

Naučili se boste uporabljati MLflow za sledenje poskusom strojnega učenja, DVC za različice modelov in podatkov ter Git za različice kode. MLflow se lahko uporablja za beleženje parametrov, izhodne datoteke, upravljanje modelov in strežništvo. 

Te prakse so bistvenega pomena za vzdrževanje dobro dokumentiranega, revizijskega in razširljivega poteka dela ML, ki na koncu prispeva k uspehu in učinkovitosti projektov ML.

Odjaviti 7 najboljših orodij za sledenje poskusom strojnega učenja in izberite tisto, ki najbolje ustreza vašemu delovnemu toku. 

V tretjem koraku se boste naučili uporabljati orodja za orkestracijo, kot sta Apache Airflow ali Prefect, za avtomatizacijo in razporejanje delovnih tokov ML. Delovni tok vključuje predhodno obdelavo podatkov, usposabljanje modela, vrednotenje in še več, kar zagotavlja brezhiben in učinkovit cevovod od podatkov do uvajanja.

Zaradi teh orodij je vsak korak v toku ML modularen in ga je mogoče ponovno uporabiti v različnih projektih, da prihranite čas in zmanjšate napake.

Seznanite 5 alternativ pretoka zraka za orkestracijo podatkov ki so uporabniku prijazni in imajo sodobne funkcije. Oglejte si tudi Prefekt za poteke dela strojnega učenja vadnica za izdelavo in izvajanje vašega prvega cevovoda ML. 

Integrirajte prakse neprekinjenega povezovanja in neprekinjenega uvajanja (CI/CD) v svoje poteke dela ML. Orodja, kot so Jenkins, GitLab CI in GitHub Actions, lahko avtomatizirajo testiranje in uvajanje modelov ML ter tako zagotovijo učinkovito in varno uvajanje sprememb. Naučili se boste vključiti samodejno testiranje vaših podatkov, modela in kode, da boste zgodaj odkrili težave in vzdrževali standarde visoke kakovosti.

Naučite se avtomatizirati usposabljanje modela, vrednotenje, različice in uvajanje z uporabo GitHub Actions, tako da sledite Vodnik za začetnike po CI/CD za strojno učenje.

Streženje modelov je kritičen vidik učinkovite uporabe modelov strojnega učenja v produkcijskih okoljih. Z uporabo ogrodij za streženje modelov, kot so BentoML, Kubeflow, Ray Serve ali TFServing, lahko svoje modele učinkovito uvedete kot mikrostoritve, zaradi česar so dostopni in razširljivi v več aplikacijah in storitvah. Ta ogrodja zagotavljajo brezhiben način za lokalno testiranje sklepanja o modelu in ponujajo funkcije za varno in učinkovito uvajanje modelov v produkcijo.

Več o tem 7 najboljših orodij za uvajanje in serviranje modela ki jih vrhunska podjetja uporabljajo za poenostavitev in avtomatizacijo postopka uvajanja modela. 

V šestem koraku se boste naučili izvajati spremljanje, da boste spremljali delovanje vašega modela in zaznali morebitne spremembe podatkov skozi čas. Uporabite lahko orodja, kot so Evidently, Fiddler, ali celo napišete kodo po meri za spremljanje in opozarjanje v realnem času. Z uporabo ogrodja za spremljanje lahko zgradite popolnoma avtomatiziran cevovod strojnega učenja, kjer bo vsako znatno zmanjšanje zmogljivosti modela sprožilo cevovod CI/CD. Posledica tega bo ponovno usposabljanje modela na najnovejšem naboru podatkov in sčasoma uvedba najnovejšega modela v proizvodnjo.

Če želite izvedeti več o pomembnih orodjih, ki se uporabljajo za gradnjo, vzdrževanje in izvajanje poteka dela ML od konca do konca, si oglejte seznam 25 najboljših orodij MLOps, ki jih morate poznati leta 2024.

V zadnjem koraku tega tečaja boste imeli priložnost zgraditi projekt strojnega učenja od konca do konca z uporabo vsega, kar ste se do sedaj naučili. Ta projekt bo vključeval naslednje korake:

1. Izberite nabor podatkov, ki vas zanima.
2. Urite model na izbranem naboru podatkov in spremljajte svoje poskuse.
3. Ustvarite cevovod za usposabljanje modela in ga avtomatizirajte z uporabo GitHub Actions.
4. Razmestite model v paketu, spletni storitvi ali pretakanju.
5. Spremljajte delovanje svojega modela in upoštevajte najboljše prakse.

Dodaj stran med zaznamke: 10 repozitorijev GitHub za obvladovanje MLOps. Uporabite ga, če želite izvedeti več o najnovejših orodjih, vodnikih, vajah, projektih in brezplačnih tečajih, da se naučite vse o MLOps.

Lahko se vpišete v Inženiring MLOps tečaj, ki podrobno pokriva vseh sedem korakov in vam pomaga pridobiti potrebne izkušnje za usposabljanje, sledenje, uvajanje in spremljanje modelov strojnega učenja v proizvodnji. 

V tem priročniku smo izvedeli za sedem potrebnih korakov, da postanete strokovni inženir MLOps. Spoznali smo orodja, koncepte in procese, potrebne za inženirje za avtomatizacijo in racionalizacijo procesa usposabljanja, ocenjevanja, različic, uvajanja in spremljanja modelov v oblaku.
 
 

Abid Ali Awan (@1abidaliawan) je certificiran strokovnjak za podatkovne znanstvenike, ki rad gradi modele strojnega učenja. Trenutno se osredotoča na ustvarjanje vsebin in pisanje tehničnih blogov o strojnem učenju in tehnologijah podatkovne znanosti. Abid ima magisterij iz tehnološkega managementa in diplomo iz telekomunikacijskega inženiringa. Njegova vizija je zgraditi izdelek AI z uporabo grafične nevronske mreže za študente, ki se borijo z duševnimi boleznimi.

• Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
• PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
• PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
• PlatoESG. Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
• PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
• vir: https://www.kdnuggets.com/7-steps-to-mastering-mlops?utm_source=rss&utm_medium=rss&utm_campaign=7-steps-to-mastering-mlops