Eine der größten aktuellen Herausforderungen für Unternehmen, die KI entwickeln, ist die Integration großer Mengen an Unternehmensdaten in ihre KI-Modelle.

Diese Daten sind das Lebenselixier vieler KI-Anwendungen, ihre Verwaltung kann jedoch ein komplexer und zeitaufwändiger Prozess sein. Snorkel Flow, ein aktuelles Update der Snorkel AI-Plattform, zielt darauf ab, diesen Prozess für Unternehmen zu optimieren, die davon profitieren möchten Lama 3, ein leistungsstarkes KI-Modell von Meta AI, und Zwillinge KI, ein weiteres fortschrittliches KI-Modell von Google.

Warum ist die Verwaltung von Unternehmensdaten so wichtig?

Unternehmensdaten umfassen ein breites Spektrum an Informationen, die Unternehmen im Rahmen ihrer täglichen Geschäftstätigkeit sammeln. Dazu können Kundendaten, Finanzunterlagen, Ergebnisse von Marketingkampagnen, Sensordaten von Maschinen und vieles mehr gehören. Die effektive Verwaltung dieser Daten ist aus mehreren Gründen von entscheidender Bedeutung.

Erstens ermöglicht es Unternehmen, Trends und Muster zu erkennen, die sonst möglicherweise übersehen würden. Durch die Analyse der Kaufhistorie von Kunden kann ein Unternehmen beispielsweise herausfinden, welche Produkte häufig zusammen gekauft werden, und so Werbeaktionen und Produktplatzierungsstrategien individuell anpassen.

Zweitens können Unternehmensdaten zur Verbesserung der Entscheidungsfindung genutzt werden. Beispielsweise könnte ein Finanzinstitut historische Kreditdaten analysieren, um genauere Risikobewertungsmodelle zu entwickeln. Schließlich sind Unternehmensdaten für das Training von KI-Modellen unerlässlich. Diese Modelle erfordern riesige Mengen an gekennzeichneten Daten, um effektiv zu lernen und Aufgaben auszuführen.

Die Verwaltung dieser Daten kann jedoch eine erhebliche Herausforderung darstellen. Unternehmensdaten liegen häufig in unterschiedlichen Formaten und an verschiedenen Orten vor, was den Zugriff und die Integration erschwert. Auch die Kennzeichnung von Daten für das KI-Training kann teuer und zeitaufwändig sein.

Hier ist wo Schnorchelfluss kommt in.

Die Datenflut bändigen

Snorkel Flow ist ein Update der Snorkel AI-Plattform, das die Integration von Unternehmensdaten in KI-Modelle, insbesondere Llama 3 und Gemini AI, vereinfachen soll. Snorkel verwendet eine Technik namens „Weak Labeling“, die es Benutzern ermöglicht, unbeschriftete Daten für Schulungszwecke zu nutzen. Dies wird durch die Definition von Heuristiken oder „Labeling-Funktionen“ erreicht, die Datenpunkten basierend auf bestimmten Kriterien automatisch Labels zuweisen können.

Stellen Sie sich beispielsweise ein Unternehmen vor, das ein KI-Modell trainieren möchte, um Kundensupporttickets zu identifizieren, die dringend behandelt werden müssen. Es könnte eine Kennzeichnungsfunktion erstellt werden, um Tickets zu identifizieren, die bestimmte Schlüsselwörter oder Ausdrücke wie „dringend“ oder „kritisch“ enthalten. Auch wenn diese Bezeichnungen möglicherweise nicht perfekt sind, können sie dennoch für das Training des KI-Modells wertvoll sein.

Snorkel Flow baut auf diesem Konzept auf und führt einen optimierten Workflow für die Verwaltung des Datenkennzeichnungsprozesses ein. Es ermöglicht Benutzern, Beschriftungsfunktionen zu definieren, Datenquellen zu verwalten und die Qualität der generierten Etiketten zu überwachen. Dies kann den Zeit- und Ressourcenaufwand für die Vorbereitung von Unternehmensdaten für das KI-Training erheblich reduzieren.

Erweiterte LLM- und Datenquellenintegrationen

In einer Blog-PostSnorkel AI erläuterte ausführlich die Innovationen, die sie zu Snorkel Flow gebracht haben. Hier sind die Merkmale des erneuerten Snorkel Flow:

• LLM-Integrationen: Snorkel Flow unterstützt jetzt die Feinabstimmung nicht nur etablierter Modelle, sondern auch der Gemini-Familie von Google und Llama 3 von Meta. Dies erweitert die Möglichkeiten für Unternehmen, das für ihre Anforderungen am besten geeignete LLM auszuwählen.
• Datenquellenintegrationen: Neue Integrationen mit Databricks Unity Catalog, Vertex AI und Microsoft Azure Machine Learning optimieren den Datenzugriff für Kennzeichnungs-, Kuratierungs- und Entwicklungszwecke. Unternehmen können ihre bestehende Dateninfrastruktur innerhalb von Snorkel Flow nutzen.

Multimodale Datenunterstützung (Beta)

• Bildverarbeitung: Snorkel Flow führt programmatische Beschriftungsfunktionen für Bilder ein (derzeit in der Betaphase). Dies ermöglicht es Unternehmen, neben Textdaten auch Bilddaten für die LLM-Schulung zu nutzen. Unternehmen können diese Funktion nutzen, um Erkenntnisse aus visuellen Daten zu extrahieren und diese in ihre KI-Lösungen zu integrieren.

Erhöhte Sicherheit und Zugänglichkeit

• Rollenbasierte Zugriffskontrolle (RBAC): Diese Funktion gewährt Administratoren eine detaillierte Kontrolle über den Datenzugriff innerhalb von Snorkel Flow. Dadurch wird sichergestellt, dass vertrauliche Informationen geschützt werden, indem der Zugriff auf bestimmte Benutzer und Datenquellen beschränkt wird.
  Verbesserte Dokumentenverarbeitung:
• Foundation Model (FM)-basierter PDF-Workflow: Snorkel Flow enthält jetzt eine spezielle PDF-Eingabeoberfläche zum Beschriften von PDFs. Dabei werden fortschrittliche Grundlagenmodelle genutzt, um den Prozess der Gewinnung wertvoller Erkenntnisse aus komplexen Dokumenten zu optimieren.

Vereinfachte LLM-Integration:

• Erweitertes SDK: Das aktualisierte SDK ermöglicht eine einfachere Integration mit verschiedenen benutzerdefinierten LLM-Diensten und bietet Unternehmen mehr Flexibilität in ihrem KI-Entwicklungsprozess.
• Databricks-Integration: Nahtlose Kompatibilität mit Databricks Unity Catalog ermöglicht die mühelose Bereitstellung von Modellen innerhalb vorhandener Arbeitsabläufe. Eine ähnliche Integration ist mit Vertex AI und Azure Machine Learning verfügbar.

Optimierte Datenanmerkung

• Multitasking-Anmerkung (R2-Release-Vorschau): Mit dieser Funktion, die sich derzeit in der Vorschau befindet, können KMU (Fachexperten) Daten für mehrere Aufgaben innerhalb eines einzelnen Projekts mit Anmerkungen versehen. Dies verbessert die Effizienz, indem die Projekteinrichtungszeit verkürzt und Arbeitsabläufe optimiert werden.

Integration mit Llama 3 und Gemini AI

Snorkel Flow lässt sich speziell in Llama 3 und Gemini AI integrieren, zwei leistungsstarke KI-Modelle. Llama 3, entwickelt von Meta AI, ist ein sachliches Sprachmodell, das auf einem riesigen Datensatz aus Text und Code trainiert wird. Dies ermöglicht es, komplexe Anfragen auf informative Weise zu verstehen und zu beantworten. Gemini AI hingegen ist ein generatives Sprachmodell, das in der Lage ist, verschiedene kreative Textformate wie Gedichte, Code, Skripte, Musikstücke, E-Mails, Briefe usw. zu erstellen.

Durch die Integration von Snorkel Flow in diese Modelle können Unternehmen die Leistungsfähigkeit der KI nutzen, um Erkenntnisse aus ihren Unternehmensdaten zu gewinnen und verschiedene Aufgaben zu automatisieren. Beispielsweise könnte Llama 3 verwendet werden, um Kundenbewertungen zu analysieren und gemeinsame Themen oder Beschwerden zu identifizieren. Gemini AI hingegen könnte verwendet werden, um kreative Marketingtexte oder Produktbeschreibungen auf der Grundlage vorhandener Daten zu erstellen.

Durch die Vereinfachung des Datenkennzeichnungsprozesses und die Kompatibilität mit leistungsstarken Modellen wie Llama 3 und Gemini AI hat Snorkel Flow das Potenzial, neue Möglichkeiten für Unternehmen zu eröffnen, die die Leistungsfähigkeit der KI nutzen möchten.

Hervorgehobener Bildnachweis: rawpixel.com/Freepik

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
• PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
• PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
• PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
• Quelle: https://dataconomy.com/2024/04/25/snorkel-flow-enterprise-data-management/