In 2022, hebben we u verteld over de nieuwe verbeteringen die we hebben aangebracht Door Amazon EMR beheerd schalen, waardoor het clustergebruik werd verbeterd en de clusterkosten werden verlaagd. In 2023 kunnen we met genoegen melden dat het Amazon EMR-team hard aan het werk is geweest. We hebben achteruit gewerkt vanuit de eisen van de klant en meerdere nieuwe functies gelanceerd om uw Amazon EMR op EC2-clusters capaciteitsbeheer en schaalervaring te verbeteren.

Amazon EMR is de cloud-big data-oplossing voor gegevensverwerking op petabyteschaal, interactieve analyses en machine learning (ML) met behulp van open-sourceframeworks zoals Apache Spark, Apache-bijenkorf en Presto. Klanten vroegen ons om functies die het capaciteitsbeheer en de schaalervaring van hun EMR op EC2-clusters, inclusief hun grote, langlopende clusters, verder zouden verbeteren. We hebben hard gewerkt om aan deze behoeften te voldoen. Hieronder volgen enkele van de belangrijkste verbeteringen:

• Verbeterde klanttransparantie en flexibiliteit met time-out voor het inrichten van Spot-instances
• Geoptimaliseerde opschaling van taakknooppunten voor Amazon EMR op EC2-clusters gelanceerd met instantiegroepen
• Verbeterde taakveerkracht met verbeterde bescherming voor Spark Drivers

Laten we dieper duiken en de nieuwe Amazon EMR op EC2-functies in detail bespreken.

Verbeterde klanttransparantie en flexibiliteit met time-out voor het inrichten van Spot-instances

Veel Amazon EMR-klanten gebruiken EC2 Spot-instanties voor hun EMR op EC2-clusters om de kosten te verlagen. Spot-instanties zijn reserve Amazon Elastic Compute-cloud (Amazon EC2) rekencapaciteit aangeboden met kortingen tot 90% vergeleken met On-Demand-prijzen. Amazon EMR biedt u de mogelijkheid om uw cluster handmatig of met behulp van te schalen Automatische schaalverdeling. U kunt ook de Door Amazon EMR beheerd schalen functie om het formaat van uw cluster automatisch aan te passen op basis van de werklast en het gebruik.

Om de klantervaring te verbeteren bij het opschalen met behulp van Spot Instances, kunt u voor EMR op EC2-clusters die zijn gelanceerd met behulp van instancevloten nu een provisioningtime-out voor Spot Instances opgeven. Een provisioningtime-out zal Amazon EMR vertellen om te stoppen met het inrichten van Spot Instance-capaciteit als het cluster een gespecificeerde tijdsdrempel overschrijdt tijdens clusterschalingsbewerkingen. U kunt de time-out voor het inrichten van de Spot-instance configureren voor clusters waarvan de grootte handmatig wordt aangepast of met behulp van Amazon EMR Managed Scaling en Auto Scaling.

Om meer transparantie te bieden, stuurt Amazon EMR bovendien automatisch gebeurtenissen naar een Amazon CloudWatch-evenementen stroom. Met deze CloudWatch-gebeurtenissen kunt u regels maken die gebeurtenissen matchen volgens een bepaald patroon, en de gebeurtenissen vervolgens naar doelen routeren om actie te ondernemen. Voor meer informatie verwijzen wij u naar Pas een time-outperiode voor de inrichting aan voor het wijzigen van de clustergrootte in Amazon EMR.

Hieronder vindt u een samenvatting van de ervaring voor verschillende scenario's wanneer u een time-outperiode voor de inrichting configureert tijdens het wijzigen van de grootte voor uw Amazon EMR op EC2-cluster

Houd rekening met het belang van de beschikbaarheid van capaciteit bij het opgeven van de time-outwaarde voor de inrichting:

• Wanneer de beschikbaarheid van uw werklastcapaciteit van cruciaal belang is - Om ervoor te zorgen dat de gewenste capaciteit beschikbaar is, raden we u aan de time-out voor het wijzigen van de omvang van de inrichting te configureren op basis van de tijd die nodig is om de toepassing en toepassings-SLA's uit te voeren. Als de SLA voor de toepassing bijvoorbeeld 60 minuten bedraagt ​​en het 30 minuten duurt voordat de toepassing is voltooid, moet u de time-out voor het wijzigen van de inrichting instellen op 30 minuten of minder. Amazon EMR zal proberen Spot-capaciteit in te richten totdat de time-out is verstreken (30 minuten of minder) en een CloudWatch-gebeurtenis publiceren, zodat u passende maatregelen kunt nemen.
• Wanneer uw werklast flexibel is en de beschikbaarheid van capaciteit geen factor is - Als de werklast flexibel is in de tijd en de beschikbaarheid van capaciteit geen factor is, kunt u, om de grootste kans op het verkrijgen van de gewenste Spot-capaciteit te garanderen, een hogere time-outwaarde configureren voor de time-out voor het wijzigen van de inrichting.

Geoptimaliseerde opschaling van taakknooppunten voor Amazon EMR op EC2-clusters gelanceerd met instantiegroepen

Instantiegroepen bieden een eenvoudiger installatie om EMR op EC2-clusters te starten. Elk cluster dat wordt gestart met exemplaargroepen kan maximaal 50 exemplaargroepen bevatten: één primaire exemplaargroep die één EC2-exemplaar bevat, een kerninstantiegroep die een of meer EC2-exemplaren bevat, en maximaal 48 optionele taakinstantiegroepen. U kunt elke instantiegroep schalen door EC2-instanties handmatig toe te voegen en te verwijderen, of u kunt automatisch schalen instellen. U kunt ook de Amazon EMR Managed Scaling-functie gebruiken om de grootte van uw cluster automatisch aan te passen op basis van de werklast en het gebruik.

Om de klantervaring voor bijvoorbeeld groepen op EMR op EC2-clusters te verbeteren bij het opschalen van taakknooppunten met behulp van Amazon EMR Managed Scaling, hebben we het beheerde schaalalgoritme verbeterd om de taakinstantiegroepen te kiezen die de grootste kans hebben om capaciteit te verwerven. Bovendien, wanneer beheerd schalen niet in staat is om capaciteit te verwerven met een enkele taakinstantiegroep, zal Amazon EMR, om eventuele opschalingsvertragingen te verminderen, automatisch overschakelen naar een andere taakgroep en de capaciteit vervullen door meerdere taakinstantiegroepen te gebruiken. Hoe flexibeler u bent met betrekking tot uw exemplaartypen, hoe groter de kans op het inrichten van capaciteit. Raadpleeg voor meer informatie Best practices bijvoorbeeld en flexibiliteit in de beschikbaarheidszone.

Verbeterde taakveerkracht met verbeterde bescherming voor Spark Drivers

In 2022Om de taakveerkracht te verbeteren bij het gebruik van Amazon EMR Managed Scaling, hebben we de beheerde schaling verbeterd om op de hoogte te zijn van Spark-shuffle-gegevens, wat verkleining voorkomt van instanties die tussentijdse shuffle-gegevens opslaan voor Apache Spark. Dit helpt nieuwe pogingen en herberekeningen van taken te voorkomen, wat leidt tot betere prestaties en lagere kosten.

Om de taakveerkracht bij het gebruik van Amazon EMR Managed Scaling verder te verbeteren, hebben we de beheerde schaling verder verbeterd om op de hoogte te zijn van Spark Driver, wat ervoor zorgt dat Amazon EMR Managed Scaling tijdens het terugschalen van clusters prioriteit geeft aan het terugschalen van knooppunten die geen actieve Spark Driver die erop draait. Hierdoor worden het aantal mislukte opdrachten en het opnieuw uitvoeren van opdrachten tot een minimum beperkt, waardoor de prestaties verder worden verbeterd en de kosten worden verlaagd. Deze verbetering is standaard ingeschakeld voor EMR-clusters die gebruikmaken van Amazon EMR-versies 5.34.0 en hoger, en Amazon EMR-versies 6.4.0 en hoger.

Om te bevestigen op welke knooppunten in uw cluster Spark Driver wordt uitgevoerd, kunt u de Spark History Server bezoeken en op het stuurprogramma filteren op de Beulen tabblad van uw Spark-toepassings-ID.

Conclusie

In dit bericht hebben we de verbeteringen benadrukt die we hebben aangebracht in capaciteitsbeheer en Amazon EMR Managed Scaling voor EMR op EC2-clusters. We hebben ons gericht op het verbeteren van de taakveerkracht, verbeterde flexibiliteit en transparantie bij het inrichten van Spot Instances, en het optimaliseren van de opschalingservaring bij het gebruik van beheerde schaling met instancegroepen op Amazon EMR op EC2-clusters. Hoewel we tot nu toe in 2023 meerdere functies hebben gelanceerd en het innovatietempo blijft toenemen, blijft het dag 1 en kijken we ernaar uit om van u te horen hoe deze functies u helpen meer waarde voor uw organisaties te ontsluiten. We nodigen u uit om deze nieuwe functies uit te proberen en contact met ons op te nemen via uw AWS-accountteam als u verdere opmerkingen heeft.

Over de auteurs

Sushant Majithia is hoofdproductmanager voor EMR bij AWS.

Ankur Goyal is een SDM met het Amazon EMR Big Data Platform-team. Hij bouwt grootschalige gedistribueerde applicaties en algoritmen voor clusteroptimalisatie. Ankur is geïnteresseerd in onderwerpen als Analytics, Machine Learning en Forecasting.

Matthijs Liem is Senior Solution Architecture Manager bij AWS.

Tarun Chanana is een SDM met het Amazon EMR Big Data Platform-team.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. Automotive / EV's, carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• ChartPrime. Verhoog uw handelsspel met ChartPrime. Toegang hier.
• BlockOffsets. Eigendom voor milieucompensatie moderniseren. Toegang hier.
• Bron: https://aws.amazon.com/blogs/big-data/capacity-management-and-amazon-emr-managed-scaling-improvements-for-amazon-emr-on-ec2-clusters/