Dit artikel is gepubliceerd als onderdeel van het Data Science-blogathon.
Introductie
MLP's? Veel mensen hebben de betekenis van DevOps nog maar net begrepen, en hier komt een nieuwe term, MLOps. Maar degenen die begrijpen wat MLOps is, maar je kent de betekenis van machine learning en DevOps, voeg dan gewoon de twee betekenissen samen en je bent klaar om te gaan. Mensen die problemen zullen hebben met het begrijpen van de term MLOps, zullen degenen zijn die het concept van DevOps in eerste instantie niet begrijpen. Hier in dit artikel zal ik het idee van MLOps doornemen, zodat je niet per se de kennis van DevOps nodig hebt.
Met vriendelijke groet, soms denk ik dat de terminologieën in tech te veel worden. Misschien is het omdat de technische wereld kunstmatig is, dus dingen vermenigvuldigen zich gemakkelijk en worden complex in vergelijking met de natuurlijke wereld, waar zelfs een kleine mutatie miljarden jaren in beslag moet nemen. Soms heb ik het gevoel dat als alle terminologieën worden verzameld en georganiseerd, sommige niet nodig zullen zijn omdat ze overbodig zijn. Tech is een markt, dus elk merk probeert uniek te zijn, waardoor een moeras van terminologieën ontstaat.
Wat is MLOps?
MLOps is een korte term voor Machine Learning Operations. Zie het maar letterlijk. Het zijn gewoon de activiteiten (bewerkingen) die betrokken zijn bij machine learning, behalve dat het zorgvuldig is ontworpen om efficiënter te voldoen aan de industrienormen. Het creëert een standaardmethode voor het ontwikkelen van ML-modellen van begin tot eind tot implementatie en onderhoud. De belangrijkste reden voor MLOps is integratie. Om niet alleen modellen te bouwen, maar een samenwerking te hebben tussen ML-beoefenaars en de algemene technische wereld.
Deze unie tussen ML-praktijk en de buitenwereld wordt een zeer nuttige benadering voor het creëren van machine learning en AI-oplossingen. Het stelt datawetenschappers en machine learning-engineers nu ook in staat om samen te werken en de manier te verbeteren waarop nieuwe modellen worden ontwikkeld en oude worden onderhouden.
De richtlijnen en best practices die in MLOps worden gepresenteerd, helpen een sfeer te creëren die een gebruikelijke levenscyclus van machine learning systematisch verbetert. Aangezien ML wordt gedaan om het menselijk leven te verbeteren, moet er een manier zijn om het in verschillende levenswerken te introduceren. Hier schudden ML-ingenieurs de hand van IT en verschillende andere technische velden. Het is gewoon een samensmelting van DevOps en ML.
We kunnen MLOps ook zien als een taakverdeling. In plaats van dat de ML-engineer zich zorgen maakt over het bouwen van modellen van begin tot implementatie en zelfs over onderhoud en eisen van de industrie, richt hij zich alleen op ML. Hij slaat de handen ineen met 'Ops' of het gebruikelijke DevOps-systeem.
Waarom MLP's?
We kunnen Machine Learning-systemen zien in groepsactiviteiten, waaronder gegevensverzameling, verwerking, feature-engineering, labeling, modelontwerp, training en optimalisatie, implementatie en onderhoud. Alleen al in de laatste twee fasen verlaat het model uiteindelijk de experimentele omgeving en raakt het het doel waar het mee begonnen is. In plaats van de ML-engineer het alleen te laten doen, helpt MLOps vanaf hier om de overgang en het onderhoud soepeler te laten verlopen. Stel je voor dat de ML-engineer zich ook druk maakt over versiebeheer? MLOps vereenvoudigen het allemaal en verkorten de ontwikkeltijd.
MLOps bestrijkt dienovereenkomstig verschillende disciplines, waardoor bedrijven een efficiënte workflow hebben en veel uitdagingen die met ontwikkeling gepaard gaan, worden vermeden. Volgens onderzoek hebben slechts een paar ML-bedrijven het effectief gebruikt.
MLOps-uitdagingen
Machine learning-modellen streven naar een zeer dynamische ruimte. Variabelen hebben vele mogelijkheden en vormen. De gegevens die binnenkomen, zijn continu en hebben meer aandacht nodig dan harde coderingsbewerkingen. Hoewel dit relatief weinig aandacht is besteed aan de praktijk van MLOps. De meeste beginners moeten de concepten nog leren en experts proberen zich meestal nog aan te passen, waardoor het een uitdaging is om deze nieuwe standaard te versterken.
Voordelen van MLOps
De belangrijkste voordelen van MLOps zijn simpelweg het ontwikkelen van efficiëntere, schaalbare en gecontroleerde ML-systemen. De beloften van ML worden gemakkelijk realistisch in deze gestandaardiseerde operatie. Het heeft een pijplijn gecreëerd die datateams stimuleert om ontwikkelingstijd te besparen en tegelijkertijd hoogwaardige systemen te realiseren. Continu testen, bijvoorbeeld, zelfs geïmplementeerde systemen kunnen worden geschaald om automatisch aan nieuwe eisen te voldoen. Laten we proberen nog enkele voordelen van MLOps aan te wijzen.
Versiebeheer
Versiebeheer is een gebruikelijke activiteit in softwaresystemen. De ontwikkelde gegevens en modellen zullen ook op dit gebied versiebeheer vereisen. Het introduceren van nieuwe gegevens in het systeem nadat een model is geïmplementeerd, kan ook prachtig worden geversied, omdat het ofwel als nieuwe gegevens wordt gebruikt of wordt samengevoegd met de geschiedenis. Dit kan via metadata en andere middelen. Voor sommige systemen kan het samenvoegen van de oude gegevens zinvol zijn en voor andere niet. In beide gevallen zal MLOps een uitweg bieden.
Werken als een team
In plaats van de ML-engineer afzonderlijk te laten werken en de andere integratieruimte afzonderlijk te laten werken, kunnen de twee meer georganiseerd werken. Dit voorkomt veel problemen en verhoogt de efficiëntie.
Gegevens- en modelvalidatie
De wetenschapper heeft nu een groter team om de resultaten van modellen te verifiëren en valideren voordat ze worden ingezet, wanneer ze worden ingezet en nadat ze zijn ingezet. Validatie komt niet alleen achter de waarheid. Het kan ook nieuwe mogelijkheden dragen. Zelfs de gegevens die aan ML-ingenieurs worden gepresenteerd, kunnen goed worden gevalideerd door de MLOp's.
ML-pijplijnen
Laten we vanaf dit punt de machine learning-pijplijn bekijken en hoe MLOps binnenkomt. MLOps ziet ML meer van de kant van de gebruiker hoe het het beste kan worden gebruikt in productie.
Gegevensverzameling en probleembereik
Dit omvat de eerste stap van ML. De gegevens moeten zorgvuldig worden herkend, niet alleen als gegevens, maar ook op basis van het toepassingsgebied of het probleemdomein. Afgezien van alleen het gebruikelijke voordeel van deze stap in ML, kan dit verder worden verbeterd om andere problemen te voorkomen, zoals het vermijden van gegevensmoerassen. Hoewel er veel gegevens nodig zijn voor ML, gaan we nu zorgvuldig om met deze behoefte en vermijden we andere uitdagingen.
Gegevensverificatie en validatie
Bij verificatie controleren we of de gegevens volledig, in een goed formaat, georganiseerd, schoon, etc. zijn; ter validatie bevestigen we nog steeds of het voldoet aan de behoeften van de buitenwereld. Deze zijn bijzonder belangrijk om tijdverspilling te voorkomen.
Functiespecificatie en extractie
In plaats van alleen te consumeren, kunnen we de functies selecteren die het beste bij de doelen passen. Mogelijk is niet alles nodig voor de uiteindelijke voorspelling, clustering of optimalisatie. Hier ontdekt u mogelijk de noodzaak om de gegevens verder op te schonen.
Interne configuratie
Een robuust systeem, dat het doel is van MLOps, moet efficiënte communicatie hebben tussen zijn subsystemen en externe systemen.
codering
De codes moeten ook de beste praktijken volgen. In plaats van alleen te coderen als een natuurlijk ML-model, beschouwen we andere kunsten die ook het doel MLOps zullen ondersteunen. De manier van coderen zou goede documentatie en automatisch testen en integreren moeten vergemakkelijken.
Project Management
hier volgen we een proces om ervoor te zorgen dat de ML-pijplijn alle projectdoelen bereikt binnen de gegeven beperkingen. Dit wordt gedaan door middel van projectdocumentatie en alle andere rapporten die aan het begin van het ontwikkelingsproces en gedurende de hele levenscyclus van het project zijn gemaakt.
Monitoren
Als laatste is er de monitoringsfase. Het model is gekoppeld aan een subsysteem voor monitoring om ervoor te zorgen dat er voldoende platform is ingesteld om toezicht te houden op het geïmplementeerde model en het domein dat het bedient. Hieronder ziet u een exemplaar van een datasetmonitor met de naam Shapash.
Conclusie
We hebben de MLOps-concepten vanuit een helder perspectief kunnen zien. Denkt u dat MLOps, met alle hierboven gepresenteerde voordelen, gewoon een zoveelste overbodige technische terminologie is? Hoewel het belangrijk is, komt het misschien niet snel bij je op, maar inmiddels had je moeten kunnen zien dat MLOps is blijven bestaan en zeer waarschijnlijk geavanceerder zal worden dan het oorspronkelijke idee van DevOps. Er is een verklaring dat ModelOps de hoofdcategorie is, terwijl MLOps een subset is. MLOps is gericht op de operationalisering van ML-modellen, terwijl ModelOps de operationalisering van alle soorten AI-modellen dekt. AIOps is ook een ander zogenaamd 'Ops'-geval van systemen in Operations. Er zijn de laatste tijd zoveel Ops ontstaan en er zullen er nog veel meer verschijnen.
Sleutelfaciliteiten:
- MLOps is een korte term voor Machine Learning Operations. Zie het maar letterlijk. Het zijn gewoon de activiteiten (bewerkingen) die betrokken zijn bij machine learning, behalve dat het zorgvuldig is ontworpen om efficiënter te voldoen aan de industrienormen.
- MLOps bestrijkt dienovereenkomstig verschillende disciplines, waardoor bedrijven een efficiënte workflow hebben en veel uitdagingen die met ontwikkeling gepaard gaan, worden vermeden. Volgens onderzoek hebben slechts een paar ML-bedrijven het effectief gebruikt.
- Machine learning-modellen streven naar een zeer dynamische ruimte. Variabelen hebben vele mogelijkheden en vormen. De gegevens zijn continu en hebben meer aandacht nodig dan harde coderingsbewerkingen.
- De belangrijkste voordelen van MLOps zijn simpelweg het ontwikkelen van efficiëntere, schaalbare en gecontroleerde ML-systemen.
De in dit artikel getoonde media zijn geen eigendom van Analytics Vidhya en worden naar goeddunken van de auteur gebruikt.
