Dit artikel is gepubliceerd als onderdeel van het Data Science-blogathon.

Introductie

Een paar dagen geleden kondigde HuggingFace een Series C-financieringsronde van $ 100 miljoen aan, wat groot nieuws was in open source machine learning en een teken zou kunnen zijn van waar de industrie naartoe gaat. Twee dagen voor de aankondiging van de HuggingFace-financiering, open-source machine learning-platform MetaSpore heeft een demo uitgebracht op basis van het pre-trainingsmodel van HuggingFace Rapid.

As diepgaand leren technologie zorgt voor innovatieve doorbraken in computervisie, natuurlijke taalverwerking, spraakverstaan ​​en andere gebieden, steeds meer ongestructureerde gegevens worden waargenomen, begrepen en verwerkt door machines. Deze vooruitgang is voornamelijk te danken aan het krachtige leervermogen van deep learning. Door voortraining van diepe modellen op massale gegevens, kunnen de modellen de interne gegevenspatronen vastleggen, waardoor ze veel stroomafwaartse taken helpen. Nu de industrie en de academische wereld steeds meer energie steken in het onderzoek naar pre-trainingstechnologie, zijn de distributiemagazijnen van pre-trainingsmodellen zoals HuggingFace en Timm de een na de ander ontstaan. De open-sourcegemeenschap geeft pre-training aanzienlijke modeldividenden vrij met een ongekende snelheid.

In de afgelopen jaren is de gegevensvorm van machinemodellering en -begrip geleidelijk geëvolueerd van single-mode naar multi-mode, en de semantische kloof tussen verschillende modi wordt geëlimineerd, waardoor het mogelijk wordt om gegevens over verschillende modi op te halen. Neem als voorbeeld CLIP, het open-sourcewerk van OpenAI, om de twin towers van afbeeldingen en teksten vooraf te trainen op een dataset van 400 miljoen afbeeldingen en teksten en de semantiek tussen afbeeldingen en teksten te verbinden. Veel onderzoekers in de academische wereld hebben op basis van deze technologie multimodale problemen zoals het genereren en ophalen van afbeeldingen opgelost. Hoewel de grenstechnologie door de semantische kloof tussen modale gegevens gaat, is er nog steeds een zware en gecompliceerde modelafstemming, offline gegevensverwerking, hoogwaardige online redeneringsarchitectuurontwerp, heterogeen computergebruik en online algoritme worden geboren meerdere processen en uitdagingen, waardoor de grensoverschrijdende multimodale ophaaltechnologieën vallen op de grond en pratt & whitney.

DMetaZiel

DMetaZiel richt zich op de bovenstaande technische pijnpunten, waarbij veel links worden geabstraheerd en verenigd, zoals optimalisatie van modeltraining, online redeneren en algoritme-experiment, en een reeks oplossingen vormen die het offline pre-trainingsmodel snel kunnen toepassen op online. In dit artikel wordt uitgelegd hoe het pre-trainingsmodel van de HuggingFace-gemeenschap kan worden gebruikt om online redeneer- en algoritme-experimenten uit te voeren op basis van de ecologie van MetaSpore-technologie, zodat de voordelen van het pre-trainingsmodel volledig kunnen worden benut voor het specifieke bedrijf of de industrie en kleine en middelgrote -grote ondernemingen. En we zullen de tekstzoektekst en tekstzoekgrafiek twee multimodale ophaaldemonstratievoorbeelden geven ter referentie.

Multimodaal semantisch ophalen

De voorbeeldarchitectuur van multimodale opvraging is als volgt:
Ons multimodale ophaalsysteem ondersteunt zowel tekstzoek- als tekstzoektoepassingsscenario's, inclusief offline verwerking, modelredenering, online services en andere kernmodules:

1. Offline verwerking, inclusief offline gegevensverwerkingsprocessen voor verschillende toepassingsscenario's van tekst zoeken en tekst zoeken, inclusief modelafstemming, modelexport, data-index database constructie, data push, etc.
2. Model gevolgtrekking. Na de offline modeltraining hebben we onze NLP en CV grote modellen ingezet op basis van het MetaSpore Serving framework. MetaSpore Serving helpt ons om gemakkelijk online gevolgtrekkingen, elastische planning, taakverdeling en resourceplanning uit te voeren in heterogene omgevingen.
3. Online diensten. Gebaseerd op MetaSpore's online algoritme applicatie framework, heeft MetaSpore een complete set herbruikbare online zoekdiensten, inclusief Front-end retrieval UI, multimodale data preprocessing, vector recall en sorteer algoritme, AB experimenteel framework, etc. MetaSpore ondersteunt ook tekst zoeken op tekst en beeldscène zoeken op tekst en kan tegen lage kosten worden gemigreerd naar andere toepassingsscenario's.

De open source-gemeenschap van HuggingFace heeft verschillende uitstekende basismodellen opgeleverd voor vergelijkbare multimodale ophaalproblemen, die vaak het startpunt zijn voor daadwerkelijke optimalisatie in de industrie. MetaSpore gebruikt ook het pre-trainingsmodel van de HuggingFace-gemeenschap in haar online diensten om woorden op woorden en afbeeldingen op woorden te zoeken. Woorden zoeken op woorden is gebaseerd op het semantische gelijkenismodel van het vraag- en antwoordveld dat is geoptimaliseerd door MetaSpore, en afbeeldingen zoeken op woorden is gebaseerd op het pre-trainingsmodel van de gemeenschap.

Deze open source pre-trainingsmodellen voor de gemeenschap worden geëxporteerd naar het algemene ONNX-formaat en in MetaSpore Serving geladen voor online redeneren. De volgende secties zullen een gedetailleerde beschrijving geven van de modelexport en online ophaalalgoritmediensten. Het redenerende deel van het model zijn gestandaardiseerde SAAS-services met een lage koppeling met het bedrijf. Geïnteresseerde lezers kunnen verwijzen naar mijn vorige bericht: Het ontwerpconcept van MetaSpore, een nieuwe generatie van het one-stop machine learning-platform.

Offline verwerking
Offline verwerking omvat voornamelijk het exporteren en laden van online modellen en het opbouwen van een index en het pushen van de documentbibliotheek. Je kunt de stapsgewijze instructies hieronder volgen om de offline verwerking van tekst zoeken en afbeeldingen zoeken te voltooien en te zien hoe het offline pre-trainingsmodel tot redeneren komt bij MetaSpore.

Zoek tekst op tekst
Traditionele tekstophaalsystemen zijn gebaseerd op letterlijke matching-algoritmen zoals BM25. Door de uiteenlopende zoekwoorden van gebruikers ontstaat er vaak een semantische kloof tussen zoekwoorden en documenten. Gebruikers spellen bijvoorbeeld "iPhone" verkeerd als "Telefoon", en zoektermen zijn ongelooflijk lang, zoals "1 ~ 3 maanden oude baby herfst kleine tas broek". Traditionele systemen voor het ophalen van tekst zullen spellingcorrectie, uitbreiding van synoniemen, het herschrijven van zoektermen en andere middelen gebruiken om de semantische kloof te verkleinen, maar slagen er in wezen niet in om dit probleem op te lossen. Alleen wanneer het ophaalsysteem de zoektermen en documenten van gebruikers volledig begrijpt, kan het op semantisch niveau voldoen aan de ophaalvereisten van gebruikers. Met de voortdurende vooruitgang van pre-training en representatieve leertechnologie, blijven sommige commerciële zoekmachines semantische vectorophaalmethoden op basis van symbolisch leren integreren in de ophaalecologie.

Semantisch ophaalmodel

Dit artikel introduceert een reeks toepassingen voor het ophalen van semantische vectoren. MetaSpore bouwde een set semantische ophaalsystemen op basis van vraag- en antwoordgegevens uit de encyclopedie. MetaSpore heeft het Sentence-Bert-model aangenomen als het semantische vectorrepresentatiemodel, dat de twin tower BERT verfijnt op gesuperviseerde of niet-gesuperviseerde manieren om het model geschikter te maken voor ophaaltaken. De modelstructuur is als volgt:

Het query-Doc symmetrische two-tower-model wordt gebruikt bij het zoeken naar tekst en het ophalen van vragen en antwoorden. De vectorrepresentatie van online Query en offline DOC delen hetzelfde vectorrepresentatiemodel, dus het is noodzakelijk om de consistentie van het offline DOC-bibliotheekmodel en het online Query-inferentiemodel te waarborgen. De case maakt gebruik van MetaSpore's tekstrepresentatiemodel Sbert-Chinese-QMC-domain-V1, geoptimaliseerd in de open-source semantisch vergelijkbare dataset. Dit model zal de vraag- en antwoordgegevens uitdrukken als een vector in offline databaseconstructie. De gebruikersquery wordt door dit model uitgedrukt als een vector bij het online ophalen, zodat de query-doc in dezelfde semantische ruimte, de semantische opvragingseisen van gebruikers kunnen worden gegarandeerd door berekening van vectorgelijkenismetrie.

Aangezien het tekstpresentatiemodel vectorcodering uitvoert voor Query online, moeten we het model exporteren voor gebruik door de online service. Ga naar de Q&A databibliotheek code directory en exporteer het model betreffende de documentatie. In het script wordt Pytorch Tracing gebruikt om het model te exporteren. De modellen worden geëxporteerd naar de map "./export". De geëxporteerde modellen zijn voornamelijk ONNX-modellen die worden gebruikt voor bekabeld redeneren, Tokenizer en gerelateerde configuratiebestanden. De geëxporteerde modellen worden in MetaSpore Serving geladen door het hieronder beschreven online Serving-systeem voor modelredenering. Aangezien het geëxporteerde model naar de cloudopslag wordt gekopieerd, moet u gerelateerde variabelen configureren in env.sh.

Bibliotheek bouwen op basis van zoeken in tekst

De ophaaldatabase is gebaseerd op de vraag- en antwoorddataset van een encyclopedie op miljoenenniveaus. Volgens het beschrijvingsdocument moet u de gegevens downloaden en de databaseconstructie voltooien. De vraag- en antwoordgegevens worden als een vector gecodeerd door het offline model, en vervolgens worden de databaseconstructiegegevens naar de servicecomponent gepusht. Het hele proces van databaseconstructie wordt als volgt beschreven:

1. Preprocessing, het converteren van de originele gegevens naar een meer algemeen JSonline-formaat voor databaseconstructie;
2. Maak een index, gebruik hetzelfde model als online "sbert-Chinese-qmc-domain-v1" om documenten te indexeren (één documentobject per regel);
3. Duw geïnverteerde (vector) en doorstuur (documentveld) gegevens naar elke componentserver.

Het volgende is een voorbeeld van het gegevensformaat van de database. Nadat de offline databaseconstructie is voltooid, worden verschillende gegevens naar overeenkomstige servicecomponenten gepusht, zoals Milvus die vectorrepresentatie van documenten opslaat en MongoDB die samenvattingsinformatie van documenten opslaat. Algoritmediensten voor online ophalen zullen deze servicecomponenten gebruiken om relevante gegevens te verkrijgen.

Zoeken op tekst
Tekst en afbeeldingen zijn voor mensen gemakkelijk semantisch te relateren, maar moeilijk voor machines. Allereerst, vanuit het perspectief van de gegevensvorm, is de tekst het discrete ID-type van eendimensionale gegevens op basis van woorden en woorden. Tegelijkertijd zijn afbeeldingen continue tweedimensionale of driedimensionale gegevens. Ten tweede is de tekst een subjectieve creatie van mensen, en zijn expressieve vermogen is levendig, inclusief verschillende keerpunten, metaforen en andere uitdrukkingen, terwijl afbeeldingen machinale representaties zijn van de objectieve wereld. Kortom, het overbruggen van de semantische kloof tussen tekst- en afbeeldingsgegevens is veel complexer dan tekst voor tekst zoeken. De traditionele tekstzoektechnologie voor het ophalen van afbeeldingen vertrouwt in het algemeen op de externe tekstbeschrijvingsgegevens van de afbeelding of de technologie voor het ophalen van de dichtstbijzijnde buur en voert het ophalen uit via de aan de afbeelding gekoppelde tekst, wat in wezen het probleem degradeert tot tekstzoeken. Het zal echter ook met veel problemen worden geconfronteerd, zoals het verkrijgen van de bijbehorende tekst van afbeeldingen en of de nauwkeurigheid van het zoeken naar tekst op tekst hoog genoeg is. Het dieptemodel is de afgelopen jaren geleidelijk geëvolueerd van single-mode naar multi-mode. Met het open-sourceproject van OpenAI, CLIP, als voorbeeld, traint u het model door de enorme beeld- en tekstgegevens van internet en brengt de tekst- en afbeeldingsgegevens in dezelfde semantische ruimte in kaart, waardoor het mogelijk wordt om de tekst en afbeelding te implementeren zoektechnologie gebaseerd op semantische vector.

CLIP grafisch model

De tekstzoekafbeeldingen die in dit artikel worden geïntroduceerd, zijn geïmplementeerd op basis van het ophalen van semantische vectoren, en het CLIP-pre-trainingsmodel wordt gebruikt als de tweetoren-ophaalarchitectuur. Omdat het CLIP-model de semantische uitlijning van de tekst- en beeldzijdemodellen van de twin towers heeft getraind op de enorme grafische en tekstgegevens, is het bijzonder geschikt voor de tekstzoekgrafiekscène.

Vanwege de verschillende afbeeldings- en tekstgegevensvormen wordt het Query-Doc asymmetrische twin towers-model gebruikt voor het ophalen van afbeeldingen door tekstzoekopdrachten. Het beeld-side model van de twin towers wordt gebruikt voor offline database constructie, en het tekst-side model wordt gebruikt voor de online aangifte. Bij de uiteindelijke online opvraging worden de databasegegevens van het beeldzijdemodel doorzocht nadat het tekstzijdemodel Query codeert, en het CLIP pre-trainingsmodel garandeert de semantische correlatie tussen afbeeldingen en teksten. Het model kan de grafische paren dichter bij elkaar brengen in de vectorruimte door vooraf te trainen op een grote hoeveelheid visuele gegevens.
Hier moeten we het tekstmodel exporteren voor online MetaSpore Serving-inferentie. Omdat de ophaalscène is gebaseerd op het Chinees, is het CLIP-model gekozen dat Chinees begrip ondersteunt. De geëxporteerde inhoud omvat het ONNX-model dat wordt gebruikt voor online redeneren en Tokenizer, vergelijkbaar met het zoeken naar tekst. MetaSpore Serving kan modelredeneringen laden via de geëxporteerde inhoud.

Bibliotheek bouwen op afbeeldingen zoeken

U moet de Unsplash Lite-bibliotheekgegevens downloaden en de constructie volgens de instructies voltooien. Het hele proces van databaseconstructie wordt als volgt beschreven:

1. Preprocessing, specificeer de afbeeldingsdirectory en genereer vervolgens een meer algemeen JSOnline-bestand voor bibliotheekconstructie;
2. Maak een index, gebruik het pre-trainingsmodel OpenAI/Clip-Vit-BASE-Patch32 om de galerij te indexeren en voer één documentobject uit voor elke regel indexgegevens;
3. Duw geïnverteerde (vector) en doorstuur (documentveld) gegevens naar elke componentserver. Net als bij het zoeken naar tekst, worden na het bouwen van een offline database relevante gegevens naar servicecomponenten gepusht, die door online ophaalalgoritme-services worden aangeroepen om relevante gegevens te verkrijgen.

Online Services
Het algemene diagram van de online-servicearchitectuur ziet er als volgt uit:

Multi-mode zoeken online service systeem ondersteunt toepassingsscenario's zoals tekst zoeken en tekst zoeken. De hele online service bestaat uit de volgende onderdelen:

1. Voorbewerkingsservice voor query's: voorbewerkingslogica (inclusief tekst/afbeelding, enz.) van het pre-trainingsmodel inkapselen en services verlenen via de gRPC-interface;
2. Ophaalalgoritme-service: de hele verwerkingslink van het algoritme omvat AB-experiment-tangent-stroomconfiguratie, MetaSpore Serving-oproep, vectoroproep, sortering, documentoverzicht, enz.;
3. Gebruikersinvoerservice: biedt een web-UI-interface voor gebruikers om fouten in de ophaalservice te debuggen en op te sporen.

Vanuit het oogpunt van gebruikersverzoeken vormen deze services aanroepafhankelijkheden van achteren naar voren, dus om een ​​multimodaal voorbeeld op te bouwen, moet u elke service eerst van voren naar achteren uitvoeren. Denk eraan om voordat u dit doet het offline model te exporteren, online te zetten en eerst de bibliotheek te bouwen. Dit artikel introduceert de verschillende onderdelen van het online servicesysteem en maakt het hele servicesysteem stap voor stap volgens de volgende richtlijnen. Zie de ReadME aan het einde van dit artikel voor meer details.

Voorbewerkingsservice opvragen
Deep learning-modellen zijn meestal gebaseerd op tensoren, maar NLP/CV-modellen hebben vaak een voorbewerkingsgedeelte dat onbewerkte tekst en afbeeldingen vertaalt in tensoren die deep learning-modellen kunnen accepteren. NLP-klassemodellen hebben bijvoorbeeld vaak een pre-tokenizer om tekstgegevens van het stringtype om te zetten in discrete tensorgegevens. CV-klassemodellen hebben ook vergelijkbare verwerkingslogica om het bijsnijden, schalen, transformeren en andere verwerking van invoerafbeeldingen te voltooien door middel van voorbewerking. Enerzijds, aangezien dit deel van de voorverwerkingslogica is losgekoppeld van de tensorredenering van het dieptemodel, anderzijds heeft de reden van het dieptemodel een onafhankelijk technisch systeem gebaseerd op ONNX, dus heeft MetaSpore dit deel van de voorverwerkingslogica gedemonteerd. .

NLP-voorbehandeling Tokenizer is geïntegreerd in de Query-voorbehandelingsservice. MetaSpore ontmanteling met een relatief algemene conventie. Gebruikers hoeven alleen logische voorverwerkingsbestanden aan te leveren om de laad- en voorspellingsinterface te realiseren en de benodigde gegevens en configuratiebestanden te exporteren die in de voorverwerkingsservice zijn geladen. Daaropvolgende CV-voorverwerkingslogica zal ook op deze manier worden geïntegreerd.

De preprocessing-service biedt momenteel de gRPC-interface-aanroep extern en is afhankelijk van de Query preprocessing (QP)-module in de retrieval-algoritmeservice. Nadat het gebruikersverzoek de service voor het ophalen van algoritmen heeft bereikt, wordt het doorgestuurd naar de service om de voorverwerking van de gegevens te voltooien en de daaropvolgende verwerking voort te zetten. De ReadMe biedt details over hoe de preprocessing-service wordt gestart, hoe het preprocessing-model dat offline naar cloudopslag is geëxporteerd, de service binnenkomt en hoe de service kan worden opgespoord.

Om de efficiëntie en stabiliteit van modelredeneringen verder te verbeteren, implementeert MetaSpore Serving een Python preprocessing submodule. MetaSpore kan dus gRPC-services leveren via door de gebruiker gespecificeerde preprocessor.py, complete Tokenizer- of CV-gerelateerde voorverwerking in NLP, en verzoeken vertalen naar een Tensor die diepe modellen aankunnen. Ten slotte wordt de modelinferentie uitgevoerd door MetaSpore, Serving volgende submodules.

Hier gepresenteerd op de kavelcode: https://github.com/meta-soul/MetaSpore/compare/add_python_preprocessor

Ophaalalgoritme-services
Ophaalalgoritmeservice is de kern van het hele online servicesysteem, dat verantwoordelijk is voor de triage van experimenten, de assemblage van algoritmeketens zoals voorverwerking, terugroepen, sorteren en het aanroepen van afhankelijke componentservices. De hele service voor het ophalen van algoritmen is ontwikkeld op basis van het Java Spring-framework en ondersteunt multi-mode ophaalscenario's van tekstzoekopdracht en tekstzoekgrafiek. Dankzij de goede interne abstractie en het modulaire ontwerp is het zeer flexibel en kan het tegen lage kosten worden gemigreerd naar vergelijkbare toepassingsscenario's.
Hier is een korte handleiding voor het configureren van de omgeving om de ophaalalgoritmeservice in te stellen. Zie ReadME voor meer details:

1. Installeer afhankelijke componenten. Gebruik Maven om de online-Serving component te installeren
2. Zoek naar serviceconfiguraties. Kopieer het sjabloonconfiguratiebestand en vervang de MongoDB-, Milvus- en andere configuraties op basis van de ontwikkel-/productieomgeving.
3. Installeer en configureer Consul. Met Consul kunt u de configuratie van de zoekservice in realtime synchroniseren, inclusief het verminderen van de stroom van experimenten, terugroepparameters en sorteerparameters. Het configuratiebestand van het project toont de huidige configuratieparameters van tekst zoeken en tekst zoeken. De parameter modelName in de fase van voorbehandeling en terugroepen is het overeenkomstige model dat in offline verwerking wordt geëxporteerd.
4. Start de dienst. Zodra de bovenstaande configuratie is voltooid, kan de ophaalservice worden gestart vanuit het invoerscript. Zodra de service is gestart, kunt u deze testen! Voor een gebruiker met userId=10 die een vraag wil stellen over 'Hoe een ID-kaart te vernieuwen', gaat u bijvoorbeeld naar de tekstzoekservice.

Gebruikersinvoerservice
Aangezien de service voor het ophalen van algoritmen de vorm heeft van de API-interface, is het moeilijk om het probleem te lokaliseren en te traceren, vooral omdat de tekstzoekscène de ophaalresultaten intuïtief kan weergeven om de iteratieve optimalisatie van het ophaalalgoritme te vergemakkelijken. Dit document biedt een lichtgewicht webinterface voor het zoeken naar tekst en afbeeldingen, een invoervak ​​voor zoeken en resultaten in een weergavepagina voor gebruikers. De service is ontwikkeld door Flask en kan eenvoudig worden geïntegreerd met andere ophaaltoepassingen. De service roept de ophaalalgoritmeservice aan en geeft de geretourneerde resultaten op de pagina weer.

Het is ook eenvoudig om de service te installeren en te starten. Als je klaar bent, ga je naar http://127.0.0.1:8090 om te zien of de zoek-UI-service correct werkt. Zie de ReadME aan het einde van dit artikel voor details.

Demonstratie van multimodaal systeem
De multimodale ophaalservice kan worden gestart wanneer de offline verwerking en de configuratie van de online serviceomgeving zijn voltooid volgens de bovenstaande instructies. Voorbeelden van tekstuele zoekopdrachten worden hieronder weergegeven.
Voer de invoer van de tekstzoekkaarttoepassing in, voer eerst "kat" in en u kunt zien dat de eerste drie cijfers van het geretourneerde resultaat katten zijn:

Als je een kleurbeperking toevoegt aan "kat" om "zwarte kat" op te halen, kun je zien dat het een zwarte kat teruggeeft:

Versterk de beperking van de zoekterm, verander deze in 'zwarte kat op het bed' en retourneer resultaten met afbeeldingen van een zwarte kat die op het bed klimt:

De kat kan nog steeds worden gevonden via het tekstzoeksysteem na de kleur- en scènewijziging in het bovenstaande voorbeeld.

Conclusie

De geavanceerde pre-trainingstechnologie kan de semantische kloof tussen verschillende modi overbruggen, en de HuggingFace-community kan de kosten voor ontwikkelaars om het pre-trainingsmodel te gebruiken aanzienlijk verlagen. Gecombineerd met de technologische ecologie van MetaSpore online redeneren en online microservices geleverd door DMetaSpore, is het pre-trainingsmodel niet langer louter offline ploeteren. In plaats daarvan kan het echt end-to-end-implementatie bereiken, van geavanceerde technologie tot industriële scenario's, waardoor de voordelen van het pre-training grote model volledig vrijkomen. In de toekomst, DMetaZiel zal doorgaan met het verbeteren en optimaliseren van het MetaSpore technologie-ecosysteem:

1. Meer geautomatiseerde en bredere toegang tot de ecologie van de HuggingFace-gemeenschap. MetaSpore zal binnenkort een gemeenschappelijk model uitrolmechanisme uitbrengen om HuggingFace ecologisch toegankelijk te maken en zal later preprocessing-services integreren in online services.
2. Optimalisatie van offline algoritmen voor ophalen in meerdere modi. Voor multimodale ophaalscenario's zal MetaSpore continu iteratief offline algoritmecomponenten optimaliseren, inclusief tekstoproep/sorteermodel, grafisch oproep/sorteermodel, enz., om de nauwkeurigheid en efficiëntie van het ophaalalgoritme te verbeteren. Ga voor gerelateerde code en referentiedocumentatie in dit artikel naar: https://github.com/meta-soul/MetaSpore/tree/main/demo/multimodal/online.

De in dit artikel getoonde media zijn geen eigendom van Analytics Vidhya en worden naar goeddunken van de auteur gebruikt.

Verwant