Amazon Managed Streaming voor Apache Kafka (Amazon MSK) is een volledig beheerde service waarmee u applicaties kunt bouwen en uitvoeren die Apache Kafka gebruiken om streaminggegevens te verwerken.

Vandaag zijn we verheugd om de voordelen van Graviton3 naar Kafka-workloads te brengen, waarbij Amazon MSK nu M7g-instanties aanbiedt voor nieuwe door MSK ingerichte clusters. AWS Graviton processors zijn op maat gemaakte Arm-gebaseerde processors die door AWS zijn gebouwd om de beste prijs-prestatieverhouding voor uw cloudworkloads te leveren. Wanneer u bijvoorbeeld een door MSK ingericht cluster uitvoert met behulp van M7g.4xlarge-instanties, kunt u tot 27% reductie in CPU-gebruik en tot 29% hogere schrijf- en leesdoorvoer realiseren vergeleken met M5.4xlarge-instanties. Deze prestatieverbeteringen, samen met de lagere prijzen van M7g, zorgen voor een besparing op computerkosten tot 24% ten opzichte van M5-instances.

In februari 2023 lanceerde AWS nieuwe Graviton3-gebaseerde M7g-instanties. M7g-instances zijn uitgerust met DDR5-geheugen, dat tot 50% hogere geheugenbandbreedte biedt dan het DDR4-geheugen dat in eerdere generaties werd gebruikt. M7g-instances leveren ook tot 25% hogere opslagdoorvoer en tot 88% toename in netwerkdoorvoer vergeleken met M5-instances van vergelijkbare grootte, wat prijs-prestatievoordelen oplevert voor Kafka-workloads. U kunt meer lezen over de M7g-functies in Nieuwe op Graviton3 gebaseerde algemene doeleinden (m7g) en geheugengeoptimaliseerde (r7g) Amazon EC2-instanties.

Hier zijn de specificaties voor de M7g-instanties op MSK:

M7g-instanties op Amazon MSK

Organisaties adopteren Amazon MSK om gegevens in realtime vast te leggen en te analyseren, machine learning (ML)-workflows uit te voeren en gebeurtenisgestuurde architecturen te bouwen. Met Amazon MSK kunt u de operationele overhead verminderen en uw applicaties met een hogere beschikbaarheid en duurzaamheid uitvoeren. Het biedt ook een consistente verlaging van de prijs-prestatieverhouding met mogelijkheden zoals Gelaagde opslag. Omdat rekenkracht een groot deel van de Kafka-kosten uitmaakt, wilden klanten een manier om deze verder te optimaliseren en te zien dat Graviton-instanties hen het snelste pad zouden bieden. Amazon MSK heeft M7g volledig getest en gevalideerd op Kafka-versies 2.8.2, 3.3.2 en hoger, waardoor het gemakkelijk wordt om kritische werklasten uit te voeren en te profiteren van Graviton3-kostenbesparingen.

U kunt aan de slag gaan door nieuwe clusters in te richten met de op Graviton3 gebaseerde M7g-instanties als brokertype met behulp van de AWS-beheerconsole, API's via de AWS SDK en de AWS-opdrachtregelinterface (AWS CLI). M7g-instances ondersteunen alle Amazon MSK- en Kafka-functies, waardoor u eenvoudig al uw bestaande Kafka-workloads kunt uitvoeren met minimale wijzigingen. Amazon MSK ondersteunt Graviton3-gebaseerde M7g-instanties van groot tot 16xgroot formaat om alle Kafka-workloads uit te voeren.

Laten we de M7g-instanties op door MSK ingerichte clusters een proefrit maken en zien hoe deze zich verhouden tot Amazon MSK M5-instanties.

M7g-instanties in actie

Klanten voeren een grote verscheidenheid aan workloads uit op Amazon MSK; sommige zijn latentiegevoelig, en sommige zijn doorvoergebonden. In dit bericht concentreren we ons op de impact van M7g op de doorvoergebonden werklasten. M7g wordt geleverd met een toename van de netwerk- en opslagdoorvoer, waardoor een hogere doorvoer per broker wordt geboden in vergelijking met een op M5 gebaseerd cluster.

Laten we, om de implicaties te begrijpen, eens kijken hoe Kafka de beschikbare doorvoer gebruikt voor het schrijven of lezen van gegevens. Elke broker in het MSK-cluster wordt geleverd met een begrensd recht op opslag en netwerkdoorvoer. Schrijfbewerkingen in Kafka verbruiken voornamelijk zowel opslag- als netwerkdoorvoer, terwijl leesbewerkingen voornamelijk netwerkdoorvoer verbruiken. Dit komt omdat een Kafka-consument doorgaans realtime gegevens uit een paginacache leest en af ​​en toe naar de schijf gaat om oude gegevens te verwerken. Daarom veranderen de algehele doorvoerwinsten ook op basis van de schrijf-naar-leesdoorvoerverhoudingen van de werkbelasting.

Laten we eens kijken naar de doorvoerwinsten op basis van een voorbeeld. Onze opstelling omvat een MSK-cluster met M7g.4xlarge-instanties en een andere met M5.4xlarge-instanties, met drie knooppunten in drie verschillende beschikbaarheidszones. We hebben ook TLS-encryptie ingeschakeld, AWS Identiteits- en toegangsbeheer (IAM)-authenticatie en een replicatiefactor van 3 voor zowel M7g- als M5 MSK-clusters. We hebben ook de beste praktijken van Amazon MSK toegepast voor brokerconfiguraties, waaronder num.network.threads = 8 en num.io.threads = 16. Aan de clientzijde voor schrijfbewerkingen hebben we de batchgrootte geoptimaliseerd met de juiste linger.ms en batch.size configuraties. Voor de werklast zijn we uitgegaan van 6 onderwerpen met elk 64 partities (384 per broker). Voor opname hebben we een belasting gegenereerd met een gemiddelde berichtgrootte van 512 bytes en met één consumentengroep per onderwerp. De hoeveelheid belasting die naar de clusters werd gestuurd, was identiek.

Naarmate we meer gegevens in het MSK-cluster opnemen, ondersteunt de M7g.4xlarge-instantie een hogere doorvoer per broker, zoals weergegeven in de volgende grafiek. Na een uur consistent schrijven ondersteunen M7g.4xlarge-brokers tot 54 MB/s schrijfdoorvoer versus 40 MB/s bij op M5 gebaseerde brokers, wat een stijging van 29% vertegenwoordigt.

We zien ook nog een andere belangrijke observatie: op M7g gebaseerde makelaars verbruiken veel minder CPU-bronnen dan M5's, ook al ondersteunen ze een 29% hogere doorvoer. Zoals te zien is in de volgende grafiek, is het CPU-gebruik van een op M7g gebaseerde broker gemiddeld 40%, terwijl dit bij een op M5 gebaseerde broker 47% is.

Zoals eerder besproken, kunnen klanten verschillende prestatieverbeteringen zien op basis van het aantal consumentengroepen, batchgroottes en exemplaargrootte. Wij adviseren u te verwijzen naar MSK-maatvoering en prijzen om de M7g-prestatiewinst voor uw gebruiksscenario te berekenen of een cluster te maken op basis van M7g-instanties en de winsten zelf te benchmarken.

Lagere kosten, met minder operationele lasten en een grotere veerkracht

Sinds de lancering heeft Amazon MSK het kosteneffectief gemaakt om uw Kafka-workloads uit te voeren, terwijl de algehele veerkracht nog steeds wordt verbeterd. Vanaf dag 1 kunt u makelaars in meerdere Beschikbaarheidszones runnen zonder dat u zich zorgen hoeft te maken over extra netwerkkosten. In oktober 2022 hebben we Tiered Storage gelanceerd, die vrijwel onbeperkte opslag biedt tot maximaal 50% lagere kosten. Wanneer u gelaagde opslag gebruikt, bespaart u niet alleen op de totale opslagkosten, maar verbetert u ook de algehele beschikbaarheid en elasticiteit van uw cluster.

Als we op deze weg voortgaan, verlagen we nu de computerkosten voor klanten, terwijl we nog steeds prestatieverbeteringen bieden. Met M7g-instances biedt Amazon MSK een besparing van 24% op de computerkosten vergeleken met M5-instances van vergelijkbare grootte. Wanneer u overstapt naar Amazon MSK, kunt u niet alleen uw operationele overhead verlagen met behulp van functies zoals Amazon MSK Connect, Amazon MSK-replicator, en automatische Kafka-versie-upgrades, maar verbeteren ook de veerkracht en verlagen de infrastructuurkosten.

Prijzen en regio's

M7g-instanties op Amazon MSK zijn vandaag beschikbaar in de VS (Ohio, N. Virginia, N. Californië, Oregon), Azië-Pacific (Hyderabad, Mumbai, Seoul, Singapore, Sydney, Tokio), Canada (Centraal) en de EU (Ierland , Londen, Spanje, Stockholm) Regio's.

Verwijzen naar Amazon MSK-prijzen voor meer informatie over op Graivton3 gebaseerde instanties met Amazon MSK-prijzen.

Samengevat

In dit bericht hebben we de prestatiewinst besproken die is bereikt bij het gebruik van op Graviton gebaseerde M7g-instanties. Deze instances kunnen een aanzienlijke verbetering van de lees- en schrijfdoorvoer bieden in vergelijking met M5-instances van vergelijkbare grootte voor Amazon MSK-workloads. Om aan de slag te gaan, maakt u een nieuw cluster met M7g-makelaars met behulp van de AWS-beheerconsole, en lees onze documentatie voor meer informatie.

Over de auteurs

Saï Maddali is een Senior Manager Product Management bij AWS die leiding geeft aan het productteam voor Amazon MSK. Hij heeft een passie voor het begrijpen van de behoeften van klanten en het gebruiken van technologie om diensten te leveren die klanten in staat stellen innovatieve applicaties te bouwen. Naast zijn werk houdt hij van reizen, koken en hardlopen.

Umesh is een streamingoplossingenarchitect bij AWS. Hij werkt samen met AWS-klanten om realtime gegevensverwerkingssystemen te ontwerpen en bouwen. Hij heeft 13 jaar werkervaring in software-engineering, waaronder het ontwerpen, ontwerpen en ontwikkelen van data-analysesystemen.

Lanre Afod is een Solutions Architect gericht op Global Financial Services bij AWS, met een passie voor het helpen van klanten met het implementeren van veilige, schaalbare, hoog beschikbare en veerkrachtige architecturen binnen de AWS Cloud.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://aws.amazon.com/blogs/big-data/amazon-msk-now-provides-up-to-29-more-throughput-and-up-to-24-lower-costs-with-aws-graviton3-support/