Sinds de release in januari 2021 is de OpenSearch-project heeft 14 versies tot en met juni 2023. Amazon OpenSearch-service ondersteunt de nieuwste versies van OpenSearch tot versie 2.7.

OpenSearch Service biedt twee configuratieopties om OpenSearch op schaal in de cloud te implementeren en te gebruiken. Met door OpenSearch Service beheerde domeinen specificeert u een hardwareconfiguratie en OpenSearch Service voorziet in de benodigde hardware en zorgt voor softwarepatches, foutherstel, back-ups en monitoring. Met beheerde domeinen kunt u zonder extra kosten gebruikmaken van geavanceerde mogelijkheden, zoals zoeken tussen clusters, replicatie tussen clusters, detectie van afwijkingen, semantisch zoeken, beveiligingsanalyses en meer. U heeft geen groot team nodig om uw OpenSearch Service-domein op grote schaal te onderhouden en te exploiteren. Uw team moet bekend zijn met sharding-concepten en Praktische tips voor OpenSearch om het beheerde aanbod van OpenSearch te gebruiken.

Amazon OpenSearch Serverloos biedt een eenvoudige en volledig automatisch geschaalde implementatieoptie. Wanneer u OpenSearch Serverless gebruikt, maakt u een Collectie (een reeks indexen die samenwerken op één werklast) en de API's van OpenSearch gebruiken, en OpenSearch Serverless doet de rest. U hoeft zich geen zorgen te maken over de grootte, capaciteitsplanning of het afstemmen van uw OpenSearch-cluster.

In dit bericht geven we een overzicht van alle opwindende functies die in de OpenSearch Service in de eerste helft van 2023 worden uitgebracht.

Bouw krachtige zoekoplossingen

In deze sectie bespreken we enkele functies in OpenSearch Service waarmee u krachtige zoekoplossingen kunt bouwen.

OpenSearch Serverless en de serverloze vectorengine

Eerder dit jaar hebben we de algemene beschikbaarheid van OpenSearch Serverless aangekondigd. OpenSearch Serverless scheidt opslag- en computercomponenten, en indexering en query-computers, zodat ze onafhankelijk kunnen worden beheerd en geschaald. Het gebruikt Amazon eenvoudige opslagservice (Amazon S3) als primaire gegevensopslag voor indexen, waardoor uw gegevens duurzamer worden. Collecties kunnen profiteren van de S3-opslaglaag om de behoefte aan hot storage te verminderen en de kosten te verlagen, door gegevens naar de lokale opslag te brengen wanneer deze worden geopend.

Wanneer u een serverloze verzameling maakt, stelt u een verzamelingstype in. OpenSearch Serverless optimaliseert het gebruik van bronnen, afhankelijk van het type dat u instelt. Bij de release kunt u zoek- en tijdreeksverzamelingen maken voor respectievelijk gebruiksscenario's voor zoeken in volledige tekst en loganalyse. In juli 2023 hebben we een preview gegeven van de ondersteuning voor een derde verzamelingstype: vectorzoeken. De vector-engine voor OpenSearch Serverless is een eenvoudige, schaalbare en goed presterende vectoropslag- en query-engine die generatieve AI, semantisch zoeken, zoeken naar afbeeldingen en meer mogelijk maakt. De vector-engine is gebouwd op OpenSearch Serverless en erft en profiteert van de robuuste architectuur. Met de vectorengine hoeft u zich geen zorgen te maken over het op maat maken, afstemmen en schalen van de backend-infrastructuur. De vectorengine past de resources automatisch aan door zich aan te passen aan veranderende werklastpatronen en vraag, om consistent snelle prestaties en schaalbaarheid te bieden. De vectorengine maakt gebruik van geschatte dichtstbijzijnde buuralgoritmen (ANN) uit de Niet-metrische ruimtebibliotheek (NMSLIB) en FAISS bibliotheken om k-NN-zoeken mogelijk te maken.

U kunt de nieuwe vectorengine-mogelijkheden gaan gebruiken door te selecteren Vector zoeken bij het maken van uw collectie op de OpenSearch Service-console. Verwijzen naar Introductie van de vectorengine voor Amazon OpenSearch Serverless, nu als preview-versie voor meer informatie over de nieuwe vectorzoekoptie met OpenSearch Serverless.

Punt in de tijd

Zoeken naar een bepaald tijdstip (PIT)., uitgebracht in versie 2.4 van OpenSearch Project en ondersteund in OpenSearch 2.5 in OpenSearch Service, biedt consistentie in zoekpaginering, zelfs wanneer nieuwe documenten binnen een specifieke index worden opgenomen of verwijderd. Stel dat uw websitegebruiker bijvoorbeeld naar 'blauwe bank' heeft gezocht en een paar minuten naar de resultaten heeft gekeken. Gedurende die paar minuten heeft de applicatie een aantal extra banken aan de index toegevoegd, waardoor de volgorde van de eerste twintig documenten is verschoven. Als de gebruiker vervolgens van pagina 20 naar pagina 1 navigeert, ziet hij mogelijk resultaten die al op pagina 2 stonden, maar die naar beneden zijn verschoven in de resultaatvolgorde. De paginering is niet stabiel als er nieuwe gegevens aan de index worden toegevoegd. Als u PIT-zoeken gebruikt, blijft de resultaatvolgorde gegarandeerd hetzelfde op alle pagina's, ongeacht wijzigingen in de index. Voor meer informatie over PIT-mogelijkheden raadpleegt u Lancering hoogtepunt: Pagineren met punt in tijd.

Plug-in voor zoekrelevantie

Heeft u zich ooit afgevraagd wat er zou gebeuren als u uw relevantiefunctie zou aanpassen: zouden de resultaten beter of slechter zijn? Met de plug-in voor zoekrelevantie kunt u nu een vergelijking van resultaten naast elkaar bekijken in OpenSearch Dashboards. Een UI-weergave maakt het eenvoudig om te zien hoe de resultaten zijn veranderd en uw relevantie tot in de perfectie in te voeren.

Extra veldtypen

OpenSearch 2.7 (beschikbaar in OpenSearch Service) ondersteunt de volgende nieuwe typen objecttoewijzingen:

• Cartesisch veldtype – OpenSearch 2.7 in OpenSearch Service voegt diepere ondersteuning toe voor GEO-gegevens. Als u een virtual reality-toepassing, computerondersteund ontwerp (CAD) of het in kaart brengen van sportlocaties bouwt, kunt u profiteren van de ondersteuning van cartesiaanse veldtypen xy-puntveld en xy-vormveld.
• Plat objecttype – Wanneer u de toewijzing van uw perceel instelt op plat_object, indexeert OpenSearch alle JSON-objecten in het veld, zodat u naar leaf-waarden kunt zoeken, zelfs als u de veldnaam niet kent, en kunt u zoeken via de notatie van het gestippelde pad. Verwijzen naar Gebruik een plat object in OpenSearch voor meer informatie over hoe het platte objecttoewijzingstype indextoewijzingen en de zoekervaring in OpenSearch vereenvoudigt.

Geografische analyse

Vanaf OpenSearch 2.7 in OpenSearch Service kunt u GeoHex-rasteraggregatiequery's uitvoeren op datasets die zijn gebouwd met de Zeshoekig hiërarchisch geospatiaal indexeringssysteem (H3) open source bibliotheek. H3 biedt precisie tot op de vierkante meter of minder, waardoor het handig is voor gevallen die een hoge mate van precisie vereisen. Omdat verzoeken met hoge precisie rekenkracht vereisen, moet u dit zeker doen beperk het geografische gebied met behulp van filters.

Breng waarneembaarheid naar een hoger niveau

Waarneembaarheid in OpenSearch is een verzameling plug-ins en functies waarmee u telemetriegegevens die zijn opgeslagen in OpenSearch kunt verkennen, opvragen en visualiseren. In deze sectie bespreken we hoe u met OpenSearch Service Observability naar een hoger niveau kunt tillen.

Eenvoudig schema voor waarneembaarheid

Met versie 2.6 heeft het OpenSearch Project een nieuw uniform schema voor Observability uitgebracht met de naam Eenvoudig schema voor waarneembaarheid (SS4O) (ondersteund in OpenSearch 2.7 in OpenSearch Service). SS4O is door beide geïnspireerd OpenTelemetrie en het Elastic Common Schema (ECS) en maakt gebruik van Amazon Elastic Container Service (Amazon ECS) gebeurtenislogboeken en OpenTelemetry (OTel)-metagegevens. SS4O specificeert de indexstructuur (toewijzing), indexnaamgevingsconventies, een integratiefunctie voor het toevoegen van vooraf geconfigureerde dashboards en visualisaties, en een JSON-schema voor het afdwingen en valideren van de structuur. SS4O voldoet aan de HOTEL schema voor logboeken, traceringen en statistieken.

Jaeger spoort steun op

Met de release van OpenSearch 2.5 kunt u nu integreren Jaeger-traceergegevens in OpenSearch en gebruik de Observability-plug-in om uw traceergegevens in Jaeger-formaat te analyseren.

Waarneembaarheid biedt u inzicht in de status van uw systeem en microservice-applicaties. OpenSearch Dashboards wordt geleverd met een Waarneembaarheid plug-in, dat een uniforme ervaring biedt voor het verzamelen en monitoren van statistieken, logboeken en traceringen uit algemene gegevensbronnen. Met de Observability-plug-in kunt u uw logboeken, statistieken en traceringen controleren en waarschuwen om ervoor te zorgen dat uw toepassing beschikbaar, performant en foutloos is.

In de eerste helft van 2023 hebben we de mogelijkheid toegevoegd om Observability-dashboards en standaarddashboards te maken vanuit het hoofdmenu van OpenSearch Dashboards. Daarvoor moest u naar de Observability-plug-in navigeren om visualisaties van gebeurtenisanalyses te maken met behulp van Doorgesluisde verwerkingstaal (PPL). Met deze release hebben we deze functie toegankelijker gemaakt door een nieuw type visualisatie met de naam 'PPL' te integreren in de lijst met visualisatietypen in het hoofdmenu van Dashboards. Hierdoor kunt u zowel bedrijfsinzichten als waarneembaarheidsanalyses op één plek met elkaar in verband brengen.

Bouw serverloze opnamepijplijnen

In april 2023 werd OpenSearch Service uitgebracht Amazon OpenSearch-opname, een volledig beheerde en automatisch geschaalde opnamepijplijn voor OpenSearch Service-domeinen en OpenSearch Serverless-collecties. OpenSearch-opname wordt mogelijk gemaakt door Gegevensvoorbereider, met source- en sink-plug-ins voor het verwerken, bemonsteren, filteren, verrijken en leveren van gegevens voor downstream-analyse. Verwijzen naar Ondersteunde plug-ins en opties voor Amazon OpenSearch Ingestion-pijplijnen om meer te leren.

De service komt automatisch tegemoet aan uw werklastvereisten door de OpenSearch Compute Units (OCU's) op en neer te schalen. Elke OCU biedt naar schatting 8 GB aan doorvoer per uur (uw werklast bepaalt de werkelijke doorvoer) en is een combinatie van 8 GiB geheugen en 2 vCPU's. U kunt maximaal 96 OCU's opschalen.

OpenSearch-opname biedt kant-en-klare pijplijnblauwdrukken die configuratiesjablonen bieden voor de meest voorkomende opnamepijplijnen. Voor meer informatie, zie Bouw een serverloze loganalysepijplijn met behulp van Amazon OpenSearch Ingestion met beheerde Amazon OpenSearch Service.

Ondersteun uw bedrijf met beveiligingsfuncties

In dit gedeelte bespreken we hoe u de OpenSearch Service kunt gebruiken om uw bedrijf te voorzien van beveiligingsfuncties.

Schakel SAML in tijdens het maken van een domein

SAML-authenticatie voor OpenSearch-dashboards werd geïntroduceerd in OpenSearch Service-domeinen met Elasticsearch versie 6.7 of hoger en OpenSearch versie 1.0 of hoger, maar u moest wachten tot het domein was aangemaakt om SAML in te schakelen. In februari 2023 hebben we u de mogelijkheid gegeven om SAML-ondersteuning te specificeren tijdens het maken van een domein. Ondersteuning is beschikbaar wanneer u domeinen aanmaakt op de AWS-beheerconsole, AWS-SDKof AWS CloudFormatie templates. Met SAML-verificatie voor OpenSearch Dashboards kunt u rechtstreeks integreren met identiteitsproviders (IdP's) zoals Okta, Ping Identity, OneLogin, Auth0, Active Directory Federation Services (ADFS) en Azure Active Directory.

Beveiligingsanalyses met OpenSearch

OpenSearch 2.5 in OpenSearch Service lanceerde ondersteuning voor OpenSearch's plug-in voor beveiligingsanalyse. In het verleden vereiste het identificeren van bruikbare beveiligingswaarschuwingen en het verkrijgen van waardevolle inzichten aanzienlijke expertise en bekendheid met verschillende beveiligingsproducten. Met beveiligingsanalyses kunt u nu echter profiteren van vereenvoudigde workflows die het correleren van meerdere beveiligingslogboeken en het onderzoeken van beveiligingsincidenten vergemakkelijken, allemaal binnen de OpenSearch-omgeving, zelfs zonder voorafgaande beveiligingservaring. De plug-in voor beveiligingsanalyse is gebundeld met een uitgebreide verzameling van meer dan 2,200 open source Sigma veiligheidsregels. Deze regels spelen een cruciale rol bij het in realtime detecteren van potentiële beveiligingsbedreigingen vanuit uw gebeurtenislogboeken. Met de plug-in voor beveiligingsanalyses kunt u ook aangepaste regels ontwerpen, beveiligingswaarschuwingen afstemmen op de ernst van de bedreiging en geautomatiseerde meldingen ontvangen op de gewenste bestemming, zoals e-mail of een Slack-kanaal. Voor meer informatie over het maken van detectoren en het configureren van regels raadpleegt u Identificeer en herstel beveiligingsbedreigingen voor uw bedrijf met behulp van beveiligingsanalyses met Amazon OpenSearch Service.

Neem gebeurtenissen op van Amazon Security Lake

In juni 2023 heeft OpenSearch Ingestion ondersteuning toegevoegd voor realtime opname van gebeurtenissen uit Amazon Beveiligingsmeer, waardoor de indexeringstijd voor beveiligingsgegevens in OpenSearch Service wordt verkort. Omdat Amazon Security Lake beveiligingsgegevens uit verschillende bronnen centraliseert, kunt u profiteren van de uitgebreide beveiligingsanalysemogelijkheden en rijke dashboardvisualisaties van OpenSearch Service om snel waardevolle inzichten te verkrijgen. De ... gebruiken Open Cybersecurity Schema Framework (OCSF)Normaliseert en combineert Amazon Security Lake gegevens uit diverse bedrijfsbeveiligingsbronnen in Apache Parquet-formaat. OpenSearch Ingestion maakt nu opname in Parquet-indeling mogelijk, met ingebouwde processors om gegevens om te zetten in JSON-documenten voordat deze worden geïndexeerd. Daarnaast is er een gespecialiseerde blauwdruk voor het opnemen van gegevens uit Amazon Security Lake en ondersteuning voor Data Prepper 2.3.0, met nieuwe functies zoals S3-sink, Avro-codec, verduisteringsprocessor, gebeurtenistagging, geavanceerde expressies en staartbemonstering.

Vereenvoudig clusterbewerkingen

In deze sectie bespreken we hoe u OpenSearch Service kunt gebruiken om clusterbewerkingen te vereenvoudigen.

Verbeterde droogloop voor configuratiewijzigingen

OpenSearch Service heeft een verbeterde dry run-optie geïntroduceerd waarmee u configuratiewijzigingen kunt valideren voordat u deze op uw clusters toepast. Deze functie zorgt ervoor dat eventuele validatiefouten die kunnen optreden tijdens de implementatie van configuratiewijzigingen worden gecontroleerd en samengevat voor uw beoordeling. Bovendien zal de proefrun aangeven of a blauw/groen implementatie nodig is om een ​​wijziging door te voeren, zodat u hierop kunt plannen.

Zorg voor hoge beschikbaarheid en consistente prestaties

OpenSearch Service biedt nu een beschikbaarheid van 99.99% met Multi-AZ met stand-by inzet. Deze nieuwe mogelijkheid maakt uw bedrijfskritische workloads beter bestand tegen potentiële infrastructuurstoringen, zoals uitval van de Availability Zone. Voorafgaand aan deze nieuwe lancering herstelde de OpenSearch Service automatisch van uitval in de Beschikbaarheidszone door meer capaciteit toe te wijzen in de getroffen Beschikbaarheidszone en shards automatisch opnieuw te distribueren. Deze aanpak is echter een reactieve benadering van infrastructuur- en netwerkstoringen en leidde doorgaans tot een hoge latentie en een groter gebruik van bronnen op de knooppunten. De Multi-AZ met Standby-functie implementeert infrastructuur in drie Beschikbaarheidszones, terwijl twee zones actief blijven en één zone stand-by. Er zijn minimaal twee replica's nodig om gegevensredundantie in Beschikbaarheidszones te behouden, zodat herstel binnen een minuut kan plaatsvinden.

Sla niet-beschikbare clusters over bij zoeken tussen clusters

Met de release van de Sla niet-beschikbare clusters over optie voor cross-cluster zoeken in juni 2023 zullen uw zoekopdrachten tussen clusters resultaten opleveren, zelfs als u niet-beschikbare shards of indexen heeft op een van de externe clusters. De functie is standaard ingeschakeld wanneer u verbinding vraagt ​​met een extern cluster op de OpenSearch Service-console.

Verbeter uw ervaring met OpenSearch Dashboards

De release van OpenSearch 2.5 en OpenSearch 2.7 in OpenSearch Service heeft nieuwe functies opgeleverd om te beheren gegevensstromen en indexen in de gebruikersinterface van OpenSearch Dashboards.

Beheer van momentopnamen

Standaard maakt OpenSearch Service elk uur momentopnamen van uw gegevens met een bewaartijd van 14 dagen. De automatische snapshots zijn incrementeel van aard en helpen u bij het herstellen van gegevensverlies of clusterfouten. Naast de standaard snapshots per uur biedt OpenSearch Service de mogelijkheid om handmatige snapshots uit te voeren en deze op te slaan in een S3-bucket. U kunt snapshotbeheer gebruiken om handmatige snapshots te maken, een bewaarbeleid voor snapshots te definiëren en de frequentie en timing voor het maken van snapshots in te stellen. Snapshotbeheer is beschikbaar onder de plug-in voor indexbeheer in OpenSearch-dashboards.

Beheer van index- en datastromen

Met de ondersteuning van OpenSearch 2.5 en OpenSearch 2.7 in OpenSearch Service kunt u nu de plug-in voor indexbeheer in OpenSearch-dashboards om gegevensstromen, indexsjablonen en indexaliassen te beheren.

De gebruikersinterface voor indexbeheer biedt uitgebreide mogelijkheden, waaronder het uitvoeren van handmatige rollover en het forceren van samenvoegacties voor gegevensstromen. U kunt ook meerdere indexsjablonen visueel beheren en indextoewijzingen, het aantal primaire shards, het aantal replica's definiëren en uw indexen intern vernieuwen.

Conclusie

Het was een drukke eerste helft van het jaar! OpenSearch Project en OpenSearch Service hebben OpenSearch Serverless gelanceerd om OpenSearch te gebruiken zonder dat u zich zorgen hoeft te maken over infrastructuur, index of shards; OpenSearch Ingestion om uw gegevens op te nemen; de vectorengine voor OpenSearch Serverless; beveiligingsanalyses om gegevens van Amazon Security Lake te analyseren; operationele verbeteringen om een ​​beschikbaarheid van 99.99% te realiseren; en verbeteringen aan de Observability-plug-in. OpenSearch Service biedt een volledig pakket aan mogelijkheden, waaronder een vectordatabase, semantisch zoeken en loganalyse-engine. We nodigen je uit om de functies te bekijken die in dit bericht worden beschreven en we stellen het op prijs als je ons waardevolle feedback geeft.

U kunt aan de slag door praktijkervaring op te doen met de openbaar beschikbare workshops voor semantisch zoeken, Waarneembaarheid van microservices en OpenSearch Serverloos. U kunt ook meer leren over de servicefuncties en gebruiksscenario's door meer te bekijken Blogposts van OpenSearch Service.

Over de auteurs

Hajer Bouafif is een Analytics Specialist Solutions Architect bij Amazon Web Services. Ze richt zich op Amazon OpenSearch Service en helpt klanten bij het ontwerpen en bouwen van goed ontworpen analytics-workloads in diverse sectoren. Hajer brengt graag tijd buitenshuis door en ontdekt graag nieuwe culturen.

Aish Gunasekar is een Specialist Solutions Architect met een focus op Amazon OpenSearch Service. Haar passie bij AWS is om klanten te helpen bij het ontwerpen van zeer schaalbare architecturen en hen te helpen bij hun overstap naar de cloud. Buiten haar werk houdt ze van wandelen en bakken.

Jon Handler is een Senior Principal Solutions Architect bij Amazon Web Services, gevestigd in Palo Alto, CA. Jon werkt nauw samen met OpenSearch en Amazon OpenSearch Service en biedt hulp en begeleiding aan een breed scala aan klanten die zoek- en loganalyseworkloads hebben die ze naar de AWS Cloud willen verplaatsen. Voordat Jon bij AWS kwam, omvatte Jon's carrière als softwareontwikkelaar vier jaar lang het coderen van een grootschalige e-commerce zoekmachine. Jon heeft een Bachelor of the Arts behaald aan de Universiteit van Pennsylvania, en een Master of Science en een PhD in Computerwetenschappen en Kunstmatige Intelligentie aan de Northwestern University.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. Automotive / EV's, carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• ChartPrime. Verhoog uw handelsspel met ChartPrime. Toegang hier.
• BlockOffsets. Eigendom voor milieucompensatie moderniseren. Toegang hier.
• Bron: https://aws.amazon.com/blogs/big-data/amazon-opensearch-service-h1-2023-in-review/