Die Weiterentwicklung der Rechenleistung in den letzten Jahrzehnten hat zu einer Explosion digitaler Daten geführt, von Verkehrskameras, die das Pendlerverhalten überwachen, bis hin zu intelligenten Kühlschränken, die Aufschluss darüber geben, wie und wann die durchschnittliche Familie isst. Sowohl Informatiker als auch Wirtschaftsführer haben das Potenzial der Daten erkannt. Die Informationen können unser Verständnis darüber vertiefen, wie unsere Welt funktioniert – und dabei helfen, bessere und „intelligentere“ Produkte zu entwickeln.

Maschinelles Lernen (ML), eine Teilmenge der künstlichen Intelligenz (KI), ist ein wichtiger Bestandteil datengesteuerter Innovation. Ingenieure für maschinelles Lernen nutzen riesige Datensätze und verwenden statistische Methoden, um Algorithmen zu erstellen, die darauf trainiert sind, Muster zu finden und wichtige Erkenntnisse in Data-Mining-Projekten zu gewinnen. Diese Erkenntnisse können dabei helfen, geschäftliche Entscheidungen voranzutreiben und das Design und Testen von Anwendungen voranzutreiben.

Heutzutage geben 35 % der Unternehmen an, KI in ihrem Unternehmen einzusetzen, darunter auch ML, und weitere 42 % gaben an, dass sie KI erforschen, so die Studie IBM Global AI Adoption Index 2022. Da ML immer stärker in den täglichen Geschäftsbetrieb integriert wird, suchen Data-Science-Teams nach schnelleren und effizienteren Möglichkeiten, ML-Initiativen zu verwalten, die Modellgenauigkeit zu erhöhen und tiefere Erkenntnisse zu gewinnen.

MLOps ist die nächste Evolutionsstufe der Datenanalyse und des Deep Learning. Es verbessert die Skalierbarkeit von ML in realen Anwendungen durch den Einsatz von Algorithmen zur Verbesserung der Modellleistung und Reproduzierbarkeit. Einfach ausgedrückt nutzt MLOps maschinelles Lernen, um maschinelles Lernen effizienter zu machen.

Was ist MLOps?

MLOps, was für Machine Learning Operations steht, nutzt Automatisierung, Kontinuierliche Integration und kontinuierliche Bereitstellung/Bereitstellung (CI/CD)und Modelle für maschinelles Lernen, um die Bereitstellung, Überwachung und Wartung des gesamten Systems für maschinelles Lernen zu optimieren.

Da die Lebenszyklus des maschinellen Lernens Da viele komplexe Komponenten mehrere Teams umfassen, ist eine enge Zusammenarbeit erforderlich, um sicherzustellen, dass Übergaben effizient erfolgen, von der Datenvorbereitung und Modellschulung bis hin zur Modellbereitstellung und -überwachung. MLOps fördert eine bessere Zusammenarbeit zwischen Datenwissenschaftlern, Softwareentwicklern und IT-Mitarbeitern. Das Ziel besteht darin, einen skalierbaren Prozess zu schaffen, der durch Effizienz und Genauigkeit einen größeren Mehrwert bietet.

Ursprünge des MLOps-Prozesses

MLOps entstand aus der Erkenntnis heraus, dass das ML-Lebenszyklusmanagement langsam und für Geschäftsanwendungen schwer zu skalieren ist. Der Begriff wurde ursprünglich im Jahr 2015 in einem veröffentlichten Forschungspapier mit dem Titel „Hidden Technical Debts in the Machine Learning System“ geprägt, in dem häufige Probleme hervorgehoben wurden, die beim Einsatz von maschinellem Lernen für Geschäftsanwendungen auftreten.

Da ML-Systeme erhebliche Ressourcen und praktische Zeit von oft unterschiedlichen Teams erfordern, entstanden Probleme aufgrund mangelnder Zusammenarbeit und einfacher Missverständnisse zwischen Datenwissenschaftlern und IT-Teams darüber, wie der beste Prozess aufgebaut werden sollte. In dem Papier wurde die Schaffung eines systematischen „MLOps“-Prozesses vorgeschlagen, der die häufig verwendete CI/CD-Methodik berücksichtigt DevOps um im Wesentlichen für jeden Schritt ein Fließband zu erstellen.

MLOps zielt darauf ab, den Zeit- und Ressourcenaufwand für die Ausführung von Data-Science-Modellen durch Automatisierung, ML und iterative Verbesserungen bei jeder Modellversion zu optimieren.

Wie die Entwicklung maschinellen Lernens funktioniert

Um den MLOps-Prozess und seine Vorteile besser zu verstehen, ist es hilfreich, zunächst zu überprüfen, wie sich ML-Projekte durch Modellentwicklung entwickeln.

Jede Organisation beginnt den ML-Prozess zunächst mit der Standardisierung ihres ML-Systems mit einer Reihe grundlegender Praktiken, darunter:

• Welche Datenquellen werden verwendet?
• Wie die Modelle gespeichert werden.
• Wo sie eingesetzt werden.
• Der Prozess zur Überwachung und Behebung von Problemen in den Modellen, sobald diese in der Produktion sind.
• So nutzen Sie ML, um den Verfeinerungsprozess in einen zyklischen ML-Prozess zu automatisieren.
• Wie MLOps innerhalb der Organisation verwendet werden.

Nach der Definition können ML-Ingenieure mit dem Aufbau der ML-Datenpipeline beginnen:

• Erstellen und führen Sie den Entscheidungsprozess aus – Data-Science-Teams arbeiten mit Softwareentwicklern zusammen, um Algorithmen zu erstellen, die Daten verarbeiten, nach Mustern suchen und „erraten“ können, was als nächstes kommen könnte.
• Validierung im Fehlerprozess durchführen – Diese Methode misst, wie gut die Vermutung war, indem sie sie mit bekannten Beispielen vergleicht, sofern verfügbar. Wenn der Entscheidungsprozess nicht richtig war, beurteilt das Team, wie schwerwiegend der Fehler war.
• Nutzen Sie Feature Engineering für Geschwindigkeit und Genauigkeit – In manchen Fällen ist der Datensatz möglicherweise zu groß, weist fehlende Daten auf oder enthält Attribute, die für das gewünschte Ergebnis nicht erforderlich sind. Hier kommt das Feature-Engineering ins Spiel. Jedes Datenattribut oder Feature wird in einem Feature-Store verwaltet und kann hinzugefügt, gelöscht, kombiniert oder angepasst werden, um das Modell für maschinelles Lernen zu verbessern. Ziel ist es, das Modell besser zu trainieren, um eine bessere Leistung und ein genaueres Ergebnis zu erzielen.
• Aktualisierungen und Optimierung einleiten – Hier beginnen ML-Ingenieure mit der „Neuschulung“ der ML-Modellmethode, indem sie aktualisieren, wie der Entscheidungsprozess zur endgültigen Entscheidung führt, mit dem Ziel, dem idealen Ergebnis näher zu kommen.
• Wiederholen: Die Teams durchlaufen jeden Schritt der ML-Pipeline erneut, bis sie das gewünschte Ergebnis erreicht haben.

Schritte im MLOps-Prozess

Den größten Vorteil sieht MLOps in der iterativen Orchestrierung von Aufgaben. Während Datenwissenschaftler neue Datenquellen prüfen, passen Ingenieure ML-Konfigurationen an. Durch gleichzeitige Anpassungen in Echtzeit wird der Zeitaufwand für Verbesserungen erheblich reduziert.

Hier sind die Schritte, die im MLOps-Prozess üblicherweise durchgeführt werden:

1. Daten vorbereiten und teilen – ML-Teams bereiten Datensätze vor und teilen sie in Katalogen, verfeinern oder entfernen unvollständige oder doppelte Daten, um sie für die Modellierung vorzubereiten, und stellen sicher, dass die Daten teamübergreifend verfügbar sind.
2. Modelle erstellen und trainieren – Hier nutzen ML-Teams Ops-Praktiken, um MLOps zu erstellen. Mithilfe von AutoML oder AutoAI, Open-Source-Bibliotheken wie Scikit-Learn und Hyperopt oder Handcodierung in Python erstellen und trainieren ML-Ingenieure die ML-Modelle. Kurz gesagt: Sie nutzen bestehende ML-Trainingsmodelle, um neue Modelle für Geschäftsanwendungen zu trainieren.
3. Modelle bereitstellen: Die ML-Modelle sind im Bereitstellungsbereich verfügbar und können über eine Benutzeroberfläche (UI) oder ein Notebook wie Jupyter-Notebooks aufgerufen werden. Hier können Teams bereitgestellte Modelle überwachen und nach impliziten Verzerrungen suchen.
4. Verbessern Sie Modelle durch Automatisierung – In dieser Phase verwenden Teams, ähnlich dem oben beschriebenen Fehlerprozess, etablierte Trainingsdaten, um die Verbesserung des getesteten Modells zu automatisieren. Teams können Tools wie Watson OpenScale verwenden, um sicherzustellen, dass die Modelle korrekt sind, und dann Anpassungen über die Benutzeroberfläche vornehmen.
5. Automatisieren Sie den ML-Lebenszyklus – Sobald die Modelle erstellt, trainiert und getestet sind, richten die Teams die Automatisierung innerhalb der ML-Pipelines ein, die wiederholbare Abläufe für einen noch effizienteren Prozess erzeugen.

Wie generative KI MLOps weiterentwickelt

Die Veröffentlichung von ChatGPT von OpenAI weckte branchen- und disziplinübergreifend Interesse an KI-Funktionen. Diese als generative KI bekannte Technologie ist in der Lage, Softwarecode zu schreiben, Bilder zu erstellen und eine Vielzahl von Datentypen zu erzeugen sowie den MLOps-Prozess weiterzuentwickeln.

Generative KI ist eine Art von Deep-Learning-Modell das Rohdaten aufnimmt, verarbeitet und „lernt“, wahrscheinliche Ergebnisse zu generieren. Mit anderen Worten: Das KI-Modell verwendet eine vereinfachte Darstellung der Trainingsdaten, um ein neues Werk zu erstellen, das den Originaldaten ähnelt, aber nicht mit ihnen identisch ist. Durch die Analyse der von Shakespeare verwendeten Sprache kann ein Benutzer beispielsweise ein generatives KI-Modell veranlassen, ein Shakespeare-ähnliches Sonett zu einem bestimmten Thema zu erstellen, um ein völlig neues Werk zu schaffen.

Generative KI stützt sich auf Basismodelle, um einen skalierbaren Prozess zu erstellen. Im Zuge der Weiterentwicklung der KI haben Datenwissenschaftler erkannt, dass die Erstellung von KI-Modellen eine Menge Daten, Energie und Zeit erfordert, von der Zusammenstellung, Kennzeichnung und Verarbeitung von Datensätzen, die die Modelle zum „Lernen“ verwenden, bis hin zur Energie, die für die Verarbeitung der Daten und das iterative Training benötigt wird die Models. Stiftungsmodelle zielen darauf ab, dieses Problem zu lösen. Ein Basismodell benötigt eine riesige Datenmenge, und mithilfe von selbstüberwachtem Lernen und Transferlernen können diese Daten zur Erstellung von Modellen für ein breites Aufgabenspektrum genutzt werden.

Dieser Fortschritt in der KI bedeutet, dass Datensätze nicht aufgabenspezifisch sind – das Modell kann Informationen, die es über eine Situation gelernt hat, auf eine andere anwenden. Ingenieure verwenden jetzt Grundlagenmodelle, um die Trainingsmodelle für MLOps-Prozesse schneller zu erstellen. Sie nehmen einfach das Basismodell und verfeinern es mithilfe ihrer eigenen Daten, anstatt ihre Daten zu nehmen und ein Modell von Grund auf zu erstellen.

Vorteile von MLOps

Wenn Unternehmen einen effizienteren, kollaborativeren und standardisierten Prozess für die Erstellung von ML-Modellen schaffen, können sie schneller skalieren und MLOps auf neue Weise nutzen, um tiefere Einblicke in Geschäftsdaten zu gewinnen. Weitere Vorteile sind:

• Erhöhte Produktivität – Der iterative Charakter von MLOps-Praktiken gibt IT, Technik, Entwicklern und Datenwissenschaftlern Zeit, sich auf die Kernarbeit zu konzentrieren.
• Rechenschaftspflicht – Gemäß der IBM Global AI Adoption Index 2022haben die meisten Unternehmen keine wichtigen Schritte unternommen, um sicherzustellen, dass ihre KI vertrauenswürdig und verantwortungsvoll ist, wie z. B. die Reduzierung von Vorurteilen (74 %), die Verfolgung von Leistungsschwankungen und Modellabweichungen (68 %) und die Sicherstellung, dass sie KI-gestützte Entscheidungen erklären können (61 %). Die Erstellung eines MLOps-Prozesses integriert Aufsicht und Datenvalidierung, um eine gute Governance, Verantwortlichkeit und Genauigkeit der Datenerfassung zu gewährleisten.
• Effizienz und Kosteneinsparungen – Data-Science-Modelle erforderten bisher erhebliche Rechenleistung zu hohen Kosten. Wenn diese zeitaufwändigen Data-Science-Modelle optimiert werden und Teams gleichzeitig an Verbesserungen arbeiten können, spart das Zeit und Kosten.
• Reduziertes Risiko – Modelle für maschinelles Lernen müssen überprüft und geprüft werden. MLOps ermöglicht eine größere Transparenz und eine schnellere Reaktion auf solche Anfragen. Wenn Unternehmen Compliance-Metriken einhalten, verringert sich das Risiko kostspieliger Verzögerungen und vergeblicher Anstrengungen.

MLOps-Anwendungsfälle

Es gibt unzählige Geschäftsanwendungsfälle für Deep Learning und ML. Hier sind einige Beispiele, in denen MLOps weitere Innovationen vorantreiben können.

IT – Der Einsatz von MLOps sorgt für eine bessere Transparenz des Betriebs mit einem zentralen Hub für Bereitstellung, Überwachung und Produktion, insbesondere beim Aufbau von KI- und maschinellen Lernmodellen.

Datenwissenschaft – Datenwissenschaftler können MLOps nicht nur aus Effizienzgründen nutzen, sondern auch für eine bessere Überwachung von Prozessen und eine bessere Governance, um die Einhaltung gesetzlicher Vorschriften zu erleichtern.

DevOps – Betriebsteams und Dateningenieure können ML-Prozesse besser verwalten, indem sie Modelle, die in ihnen vertrauten Programmiersprachen wie Python und R geschrieben sind, in modernen Laufzeitumgebungen bereitstellen.

MLOps vs. DevOps

DevOps ist der Prozess der Bereitstellung von Software durch die Kombination und Automatisierung der Arbeit von Softwareentwicklungs- und IT-Betriebsteams. MLOps hingegen ist spezifisch für maschinelle Lernprojekte.

MLOps lehnt sich jedoch an die DevOps-Prinzipien eines schnellen, kontinuierlichen Ansatzes zum Schreiben und Aktualisieren von Anwendungen an. Das Ziel besteht in beiden Fällen darin, das Projekt effizienter in die Produktion zu bringen, sei es Software oder Modelle für maschinelles Lernen. In beiden Fällen besteht das Ziel in schnelleren Korrekturen, schnelleren Releases und letztendlich in einem qualitativ hochwertigeren Produkt, das die Kundenzufriedenheit steigert.

MLOps vs. AIOps

AIOps, oder künstliche Intelligenz für den IT-Betrieb, nutzt KI-Funktionen wie die Verarbeitung natürlicher Sprache und ML-Modelle, um betriebliche Arbeitsabläufe zu automatisieren und zu rationalisieren. Dies ist eine Möglichkeit, die ständig wachsende Datenmenge, die in einer Produktionsumgebung erzeugt wird, zu verwalten und IT-Betriebsteams dabei zu helfen, schneller – sogar proaktiv – auf Verlangsamungen und Ausfälle zu reagieren.

Während sich MLOps auf die Erstellung und Schulung von ML-Modellen für den Einsatz in einer Reihe von Anwendungen konzentriert, konzentriert sich AIOps auf die Optimierung des IT-Betriebs.

MLOps und IBM

Mit Watsonx.ai können Datenwissenschaftler, Entwickler und Analysten KI-Modelle erstellen, ausführen und verwalten und so traditionelle KI und generative KI schneller in die Produktion bringen. Erstellen Sie Modelle entweder visuell oder mit Code und stellen Sie sie in der Produktion bereit und überwachen Sie sie. Mit MLOps können Sie die Modellerstellung mit jedem Tool vereinfachen und eine automatische Modellumschulung ermöglichen.

Möchten Sie die Auswirkungen von KI auf Ihr Unternehmen ausweiten?

Entdecken Sie watsonx.ai, unser Unternehmensstudio der nächsten Generation für KI-Entwickler