In opdracht GenAI draait op data, en veel organisaties hebben ontdekt dat GenAI het meest waardevol is als ze deze combineren met hun unieke en bedrijfseigen data. Maar daarin schuilt een raadsel. Hoe kan een organisatie gebruik maken van haar dataschat zonder haar bedrijf onnodig in gevaar te brengen?

Veel organisaties hebben deze zorgen aangepakt met specifieke richtlijnen over wanneer en hoe ze generatieve AI kunnen gebruiken met hun eigen bedrijfseigen gegevens. Andere organisaties hebben het gebruik ervan ronduit verboden vanwege zorgen over IP-lekken of het blootleggen van gevoelige gegevens.

Maar wat als ik u vertelde dat er al een gemakkelijke weg vooruit is achter uw firewall, in uw datacenter of op een werkstation? En het goede nieuws is dat er geen maandenlange inkoopcycli of substantiële implementatie nodig zijn voor een minimaal levensvatbaar product. Niet overtuigd? Ik zal je laten zien hoe.

Stap 1: Bestaande hardware opnieuw gebruiken voor een proefperiode

Afhankelijk van wat je met generatieve AI doet, kunnen workloads in een pilotfase op allerlei hardware draaien. Hoe? Er zijn feitelijk vier fasen van datawetenschap met deze modellen. De eerste en tweede, inferencing and Retrieval-Augmented-Generation (RAG), kunnen worden uitgevoerd op relatief bescheiden hardwareconfiguraties, terwijl de laatste twee, verfijning/herscholing en het maken van nieuwe modellen, een uitgebreide infrastructuur vereisen om resultaten te zien. Verder kunnen modellen verschillende afmetingen hebben en hoeft niet alles een “groottaalmodel” te zijn. Als gevolg hiervan zien we dat veel organisaties succes boeken met domeinspecifieke en bedrijfsspecifieke 'kleine taalmodellen' die gericht zijn op zeer beperkte gebruiksscenario's. Dit betekent dat je een server kunt herbestemmen, een werkstation kunt vinden waarop een model kan worden ingezet, of, als je erg avontuurlijk bent ingesteld, zelfs LLaMA 2 op je laptop kunt downloaden en ermee kunt spelen. Het is echt niet zo moeilijk om dit niveau van experimenteren te ondersteunen.

Stap 2: Open source

Misschien staat de open-sourcegemeenschap nergens meer aan de rand van wat mogelijk is dan in GenAI. We zien relatief kleine modellen die qua geschiktheid en toepasbaarheid wedijveren met enkele van de grootste commerciële toepassingen ter wereld. Het enige dat je ervan weerhoudt om aan de slag te gaan, is de downloadsnelheid. Er staan ​​een hele reeks open-sourceprojecten tot je beschikking, dus kies een distro en ga aan de slag. Eenmaal gedownload en geïnstalleerd, hebt u effectief de eerste fase van GenAI geactiveerd: inferencing. Theoretisch zou je experiment hier kunnen stoppen, maar wat als je met een beetje meer werk echte magie zou kunnen ontgrendelen?

Stap 3: Identificeer uw gebruiksscenario's

Je zou in de verleiding kunnen komen om deze stap over te slaan, maar ik raad het niet aan. Identificeer een reeks gebruiksscenario's die u wilt oplossen. De volgende stap is het verzamelen van gegevens en u moet ervoor zorgen dat u de juiste gegevens verzamelt om de juiste resultaten te leveren via de open source, vooraf getrainde LLM die u aanvult met uw gegevens. Zoek uit wie uw pilotgebruikers zullen zijn en vraag hen wat voor hen belangrijk is – bijvoorbeeld een lopend project waarbij ze hulp willen en welke bestaande gegevens ze hebben die nuttig zouden kunnen zijn om mee te experimenteren.

Stap 4: Activeer Retrieval-Augmented-Generation (RAG)

Je zou kunnen denken dat het toevoegen van gegevens aan een model extreem moeilijk klinkt; het is iets waarvan we doorgaans denken dat er datawetenschappers voor nodig zijn. Maar raad eens: elke organisatie met een ontwikkelaar kan Retrieval-Augmented Generation (RAG) activeren. In veel gevallen is dit misschien wel alles wat u ooit hoeft te doen om gegevens toe te voegen aan een generatief AI-model. Hoe werkt het? Effectief VOD neemt ongestructureerde gegevens zoals uw documenten, afbeeldingen en video's en helpt deze te coderen en te indexeren voor gebruik. Wij hebben dit zelf uitgeprobeerd met behulp van open-sourcetechnologieën zoals LangChain om vectordatabases te creëren waarmee het GenAI-model gegevens in minder dan een uur kan analyseren. Het resultaat was een volledig functionerende chatbot, die dit concept in recordtijd bewees.

GenAI-diagram – Klik om te vergroten

Bron: Dell Technologies

Ter afsluiting

De unieke behoeften en mogelijkheden van GenAI zorgen voor een unieke PoC-ervaring, die snel kan worden getest om onmiddellijke waarde te leveren en zijn waarde voor de organisatie te bewijzen. Als u dit in uw eigen omgeving test, biedt dit veel voordelen op het gebied van beveiliging en kostenefficiëntie die u niet kunt repliceren in de publieke cloud.

De publieke cloud is voor veel dingen geweldig, maar voor een PoC betaal je per infuus. Het is heel gemakkelijk om een ​​budget door te drukken met gebruikers die onervaren zijn in snelle engineering. De publieke cloud biedt ook niet dezelfde waarborgen voor gevoelige en bedrijfseigen gegevens. Dit kan er feitelijk toe leiden dat interne gebruikers langzamer gaan werken, omdat ze elke keer dat ze een generatieve AI-tool gebruiken, nadenken of de gegevens die ze invoeren 'veilige' gegevens zijn die met dat specifieke systeem kunnen worden gebruikt. Contra-intuïtief is dit een van de weinige keren dat het datacenter een ongewoon hoge flexibiliteit en lagere initiële kosten biedt dan zijn tegenhanger in de publieke cloud.

Dus ga ervoor, neem een ​​middag de tijd en ga aan de slag met uw eigen PoC. Als u eenmaal klaar bent voor de volgende fase, helpen wij u graag verder.

Hier kunt u meer informatie over vinden Dell generatieve AI-oplossingen.

Aangeboden door Dell Technologies.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://go.theregister.com/feed/www.theregister.com/2023/10/09/the_generative_ai_easy_button/