Sedan lanseringen i januari 2021 har OpenSearch-projekt har släppt 14-versioner till och med den 2023 juni. Amazon OpenSearch Service stöder de senaste versionerna av OpenSearch upp till version 2.7.

OpenSearch Service tillhandahåller två konfigurationsalternativ för att distribuera och driva OpenSearch i stor skala i molnet. Med OpenSearch Service-hanterade domäner anger du en hårdvarukonfiguration och OpenSearch Service tillhandahåller den nödvändiga hårdvaran och tar hand om programvarukorrigering, felåterställning, säkerhetskopiering och övervakning. Med hanterade domäner kan du använda avancerade funktioner utan extra kostnad, som sökning över kluster, replikering av kluster, avvikelsedetektering, semantisk sökning, säkerhetsanalys och mer. Du behöver inte ett stort team för att underhålla och driva din OpenSearch Service-domän i stor skala. Ditt team bör vara bekanta med skärningskoncept och Bästa metoder för OpenSearch för att använda OpenSearch-hanterade erbjudande.

Amazon OpenSearch Serverlös ger ett enkelt och helt automatiskt skalat distributionsalternativ. När du använder OpenSearch Serverless skapar du en samling (en uppsättning index som fungerar tillsammans på en arbetsbelastning) och använder OpenSearchs API:er, och OpenSearch Serverless gör resten. Du behöver inte oroa dig för dimensionering, kapacitetsplanering eller justering av ditt OpenSearch-kluster.

I det här inlägget ger vi en recension av alla spännande funktioner som lanseras i OpenSearch Service under första halvåret 2023.

Bygg kraftfulla söklösningar

I det här avsnittet diskuterar vi några av funktionerna i OpenSearch Service som gör att du kan bygga kraftfulla söklösningar.

OpenSearch Serverless och den serverlösa vektormotorn

Tidigare i år tillkännagav vi den allmänna tillgängligheten för OpenSearch Serverless. OpenSearch Serverless separerar lagrings- och beräkningskomponenter, och indexering och frågeberäkning, så att de kan hanteras och skalas oberoende. Det använder Amazon enkel lagringstjänst (Amazon S3) som primär datalagring för index, vilket ger hållbarhet för dina data. Samlingar kan dra nytta av S3-lagringslagret för att minska behovet av varmlagring och minska kostnaderna genom att föra in data till den lokala butiken när den är tillgänglig.

När du skapar en serverlös samling anger du en samlingstyp. OpenSearch Serverless optimerar resursanvändningen beroende på vilken typ du ställer in. Vid release kan du skapa sök- och tidsseriesamlingar för fulltextsökning respektive användningsfall för logganalys. I juli 2023 förhandsgranskade vi stödet för en tredje samlingstyp: vektorsökning. De vektormotor för OpenSearch Serverless är en enkel, skalbar och högpresterande vektorlagrings- och frågemotor som möjliggör generativ AI, semantisk sökning, bildsökning och mer. Byggd på OpenSearch Serverless, ärver vektormotorn och drar nytta av sin robusta arkitektur. Med vektormotorn behöver du inte oroa dig för storlek, justering och skalning av backend-infrastrukturen. Vektormotorn justerar automatiskt resurser genom att anpassa sig till ändrade arbetsbelastningsmönster och efterfrågan för att ge konsekvent snabb prestanda och skala. Vektormotorn använder ungefärliga närmaste granne (ANN) algoritmer från Icke-metrisk rymdbibliotek (NMSLIB) och FAISS bibliotek för att driva k-NN-sökning.

Du kan börja använda de nya vektormotorfunktionerna genom att välja Vektor sökning när du skapar din samling på OpenSearch Service-konsolen. Hänvisa till Vi introducerar vektormotorn för Amazon OpenSearch Serverless, nu i förhandsvisning för mer information om det nya vektorsökalternativet med OpenSearch Serverless.

Tidpunkt

Point in Time (PIT) sökning, släppt i version 2.4 av OpenSearch Project och stöds i OpenSearch 2.5 i OpenSearch Service, ger konsekvent sökpaginering även när nya dokument matas in eller tas bort inom ett specifikt index. Låt oss till exempel säga att din webbplatsanvändare sökte efter "blå soffa" och ägnade några minuter åt att titta på resultaten. Under dessa få minuter lade applikationen till ytterligare några soffor till indexet, vilket ändrade ordningen på de första 20 dokumenten. Om användaren sedan navigerar från sida 1 till sida 2 kan de se resultat som redan fanns på sida 1 men som har flyttats ner i resultatordningen. Pagineringen är inte stabil över tillägg av ny data till indexet. Om du använder PIT-sökning är resultatordningen garanterat densamma över sidorna, oavsett ändringar i indexet. För att lära dig mer om PIT-funktioner, se Lanseringshöjdpunkt: Paginera med punkt i tid.

Plugin för sökrelevans

Har du någonsin undrat vad som skulle hända om du justerade din relevansfunktion – skulle resultaten bli bättre eller sämre? Med plugin-programmet sökrelevans kan du nu se en jämförelse av resultat sida vid sida i OpenSearch Dashboards. En UI-vy gör det enkelt att se hur resultaten har förändrats och anger din relevans till perfektion.

Ytterligare fälttyper

OpenSearch 2.7 (tillgänglig i OpenSearch Service) stöder följande nya objektmappningstyper:

• Kartesisk fälttyp – OpenSearch 2.7 i OpenSearch Service lägger till djupare stöd för GEO-data. Om du bygger en virtuell verklighetsapplikation, datorstödd design (CAD) eller kartläggning av sportplatser kan du dra nytta av stödet från kartesiska fälttyper xy-punktsfält och xy formfält.
• Platt objekttyp – När du ställer in ditt fälts mappning till platt_objekt, OpenSearch indexerar alla JSON-objekt i fältet så att du kan söka efter bladvärden, även om du inte känner till fältnamnet, och låter dig söka via notation med prickad sökväg. Hänvisa till Använd platt objekt i OpenSearch för att lära dig mer om hur mappningstypen för platta objekt förenklar indexmappningar och sökupplevelsen i OpenSearch.

Geografisk analys

Med utgångspunkt från OpenSearch 2.7 i OpenSearch Service kan du köra GeoHex grid aggregeringsfrågor på datauppsättningar byggda med Hexagonalt hierarkiskt geospatialt indexeringssystem (H3) bibliotek med öppen källkod. H3 ger precision ner till kvadratmeter eller mindre, vilket gör den användbar för fall som kräver en hög grad av precision. Eftersom högprecisionsförfrågningar är beräkningstunga bör du vara säker på det begränsa det geografiska området med hjälp av filter.

Ta observerbarhet till nästa nivå

Observerbarhet i OpenSearch är en samling plugins och funktioner som låter dig utforska, fråga och visualisera telemetridata som lagras i OpenSearch. I det här avsnittet diskuterar vi hur OpenSearch Service gör det möjligt för dig att ta Observability till nästa nivå.

Enkelt schema för observerbarhet

Med version 2.6 släppte OpenSearch-projektet ett nytt enhetligt schema för Observability som heter Enkelt schema för observerbarhet (SS4O) (stöds i OpenSearch 2.7 i OpenSearch Service). SS4O är inspirerad av båda Öppna Telemetri och Elastic Common Schema (ECS) och använder Amazon Elastic Container Service (Amazon ECS) händelseloggar och OpenTelemetry (OTel) metadata. SS4O specificerar indexstrukturen (mappning), indexnamnkonventioner, en integrationsfunktion för att lägga till förkonfigurerade instrumentpaneler och visualiseringar och ett JSON-schema för att genomdriva och validera strukturen. SS4O överensstämmer med HOTELL schema för loggar, spår och mätvärden.

Jaeger spårar stöd

Med lanseringen av OpenSearch 2.5 kan du nu integrera Jaeger spårar data i OpenSearch och använd insticksprogrammet Observability för att analysera dina spårningsdata i Jaeger-format.

Observerbarhet ger dig insyn i ditt system och mikrotjänstapplikationer. OpenSearch Dashboards levereras med en Plugin för observerbarhet, som ger en enhetlig upplevelse för insamling och övervakning av mätvärden, loggar och spår från vanliga datakällor. Med insticksprogrammet Observability kan du övervaka och varna om dina loggar, mätvärden och spår för att säkerställa att din applikation är tillgänglig, presterande och felfri.

Under första halvåret 2023 lade vi till möjligheten att skapa observationsinstrumentpaneler och standardinstrumentpaneler från huvudmenyn i OpenSearch Dashboards. Innan dess behövde du navigera till insticksprogrammet Observability för att skapa händelseanalysvisualiseringar med hjälp av Piped Processing Language (PPL). Med den här utgåvan gjorde vi den här funktionen mer tillgänglig genom att integrera en ny typ av visualisering som heter "PPL" i listan över visualiseringstyper på Dashboards huvudmeny. Detta hjälper dig att korrelera både affärsinsikter och observerbarhetsanalyser på en enda plats.

Bygg serverlösa pipelines för intag

I april 2023 släpptes OpenSearch Service Amazon OpenSearch Intag, en fullt hanterad och automatiskt skalad inmatningspipeline för OpenSearch Service-domäner och OpenSearch Serverless-samlingar. OpenSearch-inmatning drivs av Dataförberedare, med source- och sink-plugins för att bearbeta, sampla, filtrera, berika och leverera data för nedströmsanalys. Hänvisa till Plugins och alternativ som stöds för Amazon OpenSearch Ingestion-pipelines att lära sig mer.

Tjänsten tillgodoser automatiskt dina arbetsbelastningskrav genom att skala upp och ned OpenSearch Compute-enheterna (OCU). Varje OCU ger uppskattningsvis 8 GB per timmes genomströmning (din arbetsbelastning avgör den faktiska genomströmningen) och är en kombination av 8 GiB minne och 2 vCPU:er. Du kan skala upp till 96 OCU.

OpenSearch-inmatning tillhandahåller färdiga pipeline-ritningar som tillhandahåller konfigurationsmallar för de vanligaste inmatningspipelines. För mer information, se Bygg en serverlös logganalyspipeline med Amazon OpenSearch Ingestion med hanterad Amazon OpenSearch Service.

Aktivera ditt företag med säkerhetsfunktioner

I det här avsnittet diskuterar vi hur du kan använda OpenSearch Service för att aktivera ditt företag med säkerhetsfunktioner.

Aktivera SAML under skapande av domän

SAML-autentisering för OpenSearch Dashboards introducerades i OpenSearch Service-domäner med Elasticsearch version 6.7 eller senare och OpenSearch version 1.0 eller högre, men du var tvungen att vänta på att domänen skapades för att aktivera SAML. I februari 2023 gjorde vi det möjligt för dig att ange SAML-stöd under domänskapandet. Support är tillgängligt när du skapar domäner på AWS Management Console, AWS SDK, eller AWS molnformation mallar. SAML-autentisering för OpenSearch Dashboards gör att du kan integrera direkt med identitetsleverantörer (IdPs) som Okta, Ping Identity, OneLogin, Auth0, Active Directory Federation Services (ADFS) och Azure Active Directory.

Säkerhetsanalys med OpenSearch

OpenSearch 2.5 i OpenSearch Service lanserade stöd för OpenSearch plugin för säkerhetsanalys. Tidigare krävde det betydande expertis och förtrogenhet med olika säkerhetsprodukter för att identifiera handlingsbara säkerhetsvarningar och få värdefulla insikter. Men med säkerhetsanalys kan du nu dra nytta av förenklade arbetsflöden som underlättar sammankoppling av flera säkerhetsloggar och undersökning av säkerhetsincidenter, allt inom OpenSearch-miljön, även utan tidigare säkerhetserfarenhet. Säkerhetsanalyspluginet är paketerat med en omfattande samling på över 2,200 XNUMX öppen källkod Sigma säkerhetsregler. Dessa regler spelar en avgörande roll för att upptäcka potentiella säkerhetshot i realtid från dina händelseloggar. Med plugin-programmet för säkerhetsanalys kan du också designa anpassade regler, skräddarsy säkerhetsvarningar baserat på hotets svårighetsgrad och ta emot automatiska meddelanden på din föredragna destination, som e-post eller en Slack-kanal. För mer information om att skapa detektorer och konfigurera regler, se Identifiera och åtgärda säkerhetshot mot ditt företag med hjälp av säkerhetsanalyser med Amazon OpenSearch Service.

Ta in händelser från Amazon Security Lake

I juni 2023 lade OpenSearch Ingestion till stöd för realtidsintag av händelser från Amazon Security Lake, vilket minskar indexeringstiden för säkerhetsdata i OpenSearch Service. Med Amazon Security Lake som centraliserar säkerhetsdata från olika källor kan du dra nytta av de omfattande säkerhetsanalysfunktionerna och de rika instrumentpanelsvisualiseringarna i OpenSearch Service för att snabbt få värdefulla insikter. Använda Open Cybersecurity Schema Framework (OCSF), Amazon Security Lake normaliserar och kombinerar data från olika företagssäkerhetskällor i Apache Parquet-format. OpenSearch Ingestion möjliggör nu intag i Parquet-format, med inbyggda processorer för att konvertera data till JSON-dokument innan indexering. Dessutom finns det en specialiserad plan för att inta data från Amazon Security Lake och stöd för Data Prepper 2.3.0, som erbjuder nya funktioner som S3-sink, Avro-codec, obfuskeringsprocessor, händelsetaggning, avancerade uttryck och svanssampling.

Förenkla klusteroperationer

I det här avsnittet diskuterar vi hur du kan använda OpenSearch Service för att förenkla klusteroperationer.

Förbättrad torrkörning för konfigurationsändringar

OpenSearch Service har introducerat ett förbättrat torrkörningsalternativ som låter dig validera konfigurationsändringar innan du tillämpar dem på dina kluster. Den här funktionen säkerställer att alla potentiella valideringsfel som kan uppstå under implementeringen av konfigurationsändringar kontrolleras och sammanfattas för din granskning. Dessutom kommer torrkörningen att indikera om a blå/grön utbyggnad är nödvändigt för att tillämpa en ändring, så att du kan planera därefter.

Säkerställ hög tillgänglighet och konsekvent prestanda

OpenSearch Service erbjuder nu 99.99 % tillgänglighet med Multi-AZ med standby spridning. Denna nya förmåga gör dina affärskritiska arbetsbelastningar mer motståndskraftiga mot potentiella infrastrukturfel som t.ex. Availability Zone-fel. Innan denna nya lansering återställdes OpenSearch Service automatiskt efter avbrott i tillgänglighetszonen genom att allokera mer kapacitet i den påverkade tillgänglighetszonen och automatiskt omfördela skärvor. Detta tillvägagångssätt är dock ett reaktivt tillvägagångssätt för infrastruktur- och nätverksfel, och ledde vanligtvis till hög latens och ökat resursutnyttjande över noderna. Multi-AZ med Standby-funktionen distribuerar infrastruktur i tre tillgänglighetszoner, samtidigt som två zoner är aktiva och en zon som standby. Det krävs minst två repliker för att upprätthålla dataredundans över tillgänglighetszoner för en återställningstid på mindre än en minut.

Hoppa över otillgängliga kluster i tvärklustersökning

Med lanseringen av den Hoppa över otillgängliga kluster alternativ för tvärklustersökning i juni 2023 kommer dina sökfrågor i flera kluster att ge resultat även om du har otillgängliga skärvor eller index på ett av fjärrklustren. Funktionen är aktiverad som standard när du begär anslutning till ett fjärrkluster på OpenSearch Service-konsolen.

Förbättra din upplevelse med OpenSearch Dashboards

Utgivningen av OpenSearch 2.5 och OpenSearch 2.7 i OpenSearch Service har gett nya funktioner att hantera dataströmmar och index på OpenSearch Dashboards UI.

Hantering av ögonblicksbilder

Som standard tar OpenSearch Service ögonblicksbilder av din data varje timme med en lagringstid på 14 dagar. De automatiska ögonblicksbilderna är inkrementella till sin natur och hjälper dig att återställa från dataförlust eller klusterfel. Utöver de förinställda ögonblicksbilderna varje timme, erbjuder OpenSearch Service möjligheten att köra manuella ögonblicksbilder och lagra dem i en S3-hink. Du kan använda ögonblicksbildshantering för att skapa manuella ögonblicksbilder, definiera en lagringspolicy för ögonblicksbilder och ställa in frekvensen och tidpunkten för att skapa ögonblicksbilder. Hantering av ögonblicksbilder är tillgänglig under indexhanteringsplugin i OpenSearch Dashboards.

Index och dataströmshantering

Med stöd av OpenSearch 2.5 och OpenSearch 2.7 i OpenSearch Service kan du nu använda indexhanteringsplugin i OpenSearch-instrumentpaneler för att hantera dataströmmar, indexmallar och indexalias.

Indexhanteringsgränssnittet ger utökade möjligheter för att inkludera körning av manuell överrullning och forcera sammanslagningsåtgärder för dataströmmar. Du kan också visuellt hantera flera indexmallar och definiera indexmappningar, antal primära shards, antal repliker och uppdatera internt för dina index.

Slutsats

Det har varit ett hektiskt första halvår! OpenSearch Project och OpenSearch Service har lanserat OpenSearch Serverless för att använda OpenSearch utan att behöva oroa sig för infrastruktur, index eller skärvor; OpenSearch Ingestion för att mata in din data; vektormotorn för OpenSearch Serverless; säkerhetsanalys för att analysera data från Amazon Security Lake; operativa förbättringar för att ge 99.99 % tillgänglighet; och förbättringar av plugin-programmet Observability. OpenSearch Service tillhandahåller en komplett uppsättning funktioner, inklusive en vektordatabas, semantisk sökning och logganalysmotor. Vi inbjuder dig att kolla in funktionerna som beskrivs i det här inlägget och vi uppskattar att ge oss din värdefulla feedback.

Du kan komma igång genom att ha praktisk erfarenhet av de allmänt tillgängliga verkstäderna för semantisk sökning, observerbarhet av mikrotjänsteroch OpenSearch Serverless. Du kan också lära dig mer om tjänstens funktioner och användningsfall genom att kolla in mer OpenSearch Service blogginlägg.

Om författarna

Hajer Bouafif är en Analytics Specialist Solutions Architect på Amazon Web Services. Hon fokuserar på Amazon OpenSearch Service och hjälper kunder att designa och bygga välstrukturerade analysarbeten i olika branscher. Hajer tycker om att vara utomhus och upptäcka nya kulturer.

Aish Gunasekar är en Specialist Solutions Architect med fokus på Amazon OpenSearch Service. Hennes passion på AWS är att hjälpa kunder att designa mycket skalbara arkitekturer och hjälpa dem i deras molnadoptionsresa. Utanför jobbet tycker hon om att vandra och baka.

Jon Handler är Senior Principal Solutions Architect på Amazon Web Services baserad i Palo Alto, CA. Jon arbetar nära OpenSearch och Amazon OpenSearch Service, och tillhandahåller hjälp och vägledning till ett brett spektrum av kunder som har sök- och logganalysarbetsbelastningar som de vill flytta till AWS-molnet. Innan han började på AWS inkluderade Jons karriär som mjukvaruutvecklare 4 år av kodning av en storskalig e-handelssökmotor. Jon har en Bachelor of the Arts från University of Pennsylvania, och en Master of Science och en PhD i datavetenskap och artificiell intelligens från Northwestern University.

• SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
• PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
• PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
• Platoesg. Fordon / elbilar, Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
• PlatoHealth. Biotech och kliniska prövningar Intelligence. Tillgång här.
• ChartPrime. Höj ditt handelsspel med ChartPrime. Tillgång här.
• BlockOffsets. Modernisera miljökompensation ägande. Tillgång här.
• Källa: https://aws.amazon.com/blogs/big-data/amazon-opensearch-service-h1-2023-in-review/