Αυτή η ανάρτηση συνυπογράφεται με τους Amir Souchami και Fabian Szenkier από το Unity.

Αύρα από την Unity (παλαιότερα γνωστό ως ironSource) είναι το πρότυπο της αγοράς για τη δημιουργία πλούσιων εμπειριών συσκευών που προσελκύουν και διατηρούν πελάτες. Με ένα ισχυρό σύνολο λύσεων, το Aura επιτρέπει τον πλήρη ψηφιακό μετασχηματισμό, επιτρέποντας στους χειριστές να προωθούν βασικές υπηρεσίες εκτός του καταστήματος, απευθείας στη συσκευή.

Amazon RedShift είναι μια προτεινόμενη υπηρεσία για φόρτους εργασίας διαδικτυακής αναλυτικής επεξεργασίας (OLAP), όπως αποθήκες δεδομένων cloud, μάρκες δεδομένων και άλλες αποθήκες αναλυτικών δεδομένων. Μπορείτε να χρησιμοποιήσετε απλή SQL για να αναλύσετε δομημένα και ημιδομημένα δεδομένα, λειτουργικές βάσεις δεδομένων και λίμνες δεδομένων για να προσφέρετε την καλύτερη τιμή/απόδοση σε οποιαδήποτε κλίμακα. ο Κοινή χρήση δεδομένων Amazon Redshift Η δυνατότητα παρέχει άμεση, λεπτομερή και υψηλής απόδοσης πρόσβαση χωρίς αντίγραφα δεδομένων και μετακίνηση δεδομένων σε πολλαπλές αποθήκες δεδομένων Redshift στον ίδιο ή διαφορετικούς λογαριασμούς AWS και σε περιοχές AWS. Η κοινή χρήση δεδομένων παρέχει ζωντανή πρόσβαση στα δεδομένα, ώστε να βλέπετε πάντα τις πιο ενημερωμένες και συνεπείς πληροφορίες καθώς ενημερώνονται στην αποθήκη δεδομένων.

Χωρίς διακομιστή Amazon Redshift καθιστά εύκολη την εκτέλεση και την κλιμάκωση των αναλυτικών στοιχείων σε δευτερόλεπτα χωρίς την ανάγκη ρύθμισης και διαχείρισης συμπλεγμάτων αποθήκης δεδομένων. Το Redshift Serverless παρέχει αυτόματα και κλιμακώνει έξυπνα τη χωρητικότητα της αποθήκης δεδομένων για να προσφέρει γρήγορη απόδοση ακόμη και για τους πιο απαιτητικούς και απρόβλεπτους φόρτους εργασίας και πληρώνετε μόνο για ό,τι χρησιμοποιείτε. Μπορείτε να φορτώσετε τα δεδομένα σας και να ξεκινήσετε αμέσως τα ερωτήματα στο Amazon Redshift Query Editor ή στο αγαπημένο σας εργαλείο επιχειρηματικής ευφυΐας (BI) και να συνεχίσετε να απολαμβάνετε την καλύτερη τιμή/απόδοση και γνωστές δυνατότητες SQL σε ένα εύχρηστο περιβάλλον μηδενικής διαχείρισης .

Σε αυτήν την ανάρτηση, περιγράφουμε την επιτυχημένη και γρήγορη υιοθέτηση του Redshift Serverless από την Aura, η οποία τους επέτρεψε να βελτιστοποιήσουν το συνολικό χρόνο διάθεσης των διαφημιστικών καμπανιών προσφοράς από 24 ώρες σε 2 ώρες. Εξερευνούμε γιατί η Aura επέλεξε αυτή τη λύση και ποιες τεχνολογικές προκλήσεις βοήθησε στην επίλυση.

Ο αρχικός αγωγός δεδομένων της Aura

Η Aura είναι πρωτοπόρος στη χρήση συμπλεγμάτων Redshift RA3 με κοινή χρήση δεδομένων για εξαγωγή, μετασχηματισμό και φόρτωση (ETL) και φόρτου εργασίας BI. Μία από τις λειτουργίες της Aura είναι η υποβολή προσφορών για διαφημιστικές καμπάνιες. Αυτές οι καμπάνιες βελτιστοποιούνται χρησιμοποιώντας μια διαδικασία προσφοράς που βασίζεται σε τεχνητή νοημοσύνη και απαιτεί την εκτέλεση εκατοντάδων αναλυτικών ερωτημάτων ανά καμπάνια. Αυτά τα ερωτήματα εκτελούνται σε δεδομένα που βρίσκονται σε ένα σύμπλεγμα Redshift που παρέχεται με RA3.

Ο ολοκληρωμένος αγωγός αποτελείται από διάφορες υπηρεσίες AWS:

Το παρακάτω διάγραμμα απεικονίζει αυτή την αρχιτεκτονική.

Προκλήσεις της αρχικής αρχιτεκτονικής

Τα ερωτήματα για κάθε καμπάνια εκτελούνται με τον ακόλουθο τρόπο:

Πρώτον, ένα ερώτημα προετοιμασίας φιλτράρει και συγκεντρώνει ακατέργαστα δεδομένα, προετοιμάζοντάς τα για την επόμενη λειτουργία. Ακολουθεί το κύριο ερώτημα, το οποίο εκτελεί τη λογική σύμφωνα με το σύνολο αποτελεσμάτων ερωτήματος προετοιμασίας.

Καθώς ο αριθμός των καμπανιών αυξανόταν, η ομάδα δεδομένων της Aura έπρεπε να εκτελέσει εκατοντάδες ταυτόχρονες ερωτήσεις για καθένα από αυτά τα βήματα. Το υπάρχον εφοδιασμένο σύμπλεγμα της Aura είχε ήδη χρησιμοποιηθεί σε μεγάλο βαθμό με φόρτους εργασίας απορρόφησης δεδομένων, ETL και BI, επομένως αναζητούσαν οικονομικά αποδοτικούς τρόπους για να απομονώσουν αυτόν τον φόρτο εργασίας με αποκλειστικούς υπολογιστικούς πόρους.

Η ομάδα αξιολόγησε μια ποικιλία επιλογών, συμπεριλαμβανομένης της εκφόρτωσης δεδομένων στο Amazon S3 και μιας αρχιτεκτονικής πολλαπλών συμπλεγμάτων χρησιμοποιώντας κοινή χρήση δεδομένων και Redshift χωρίς διακομιστή. Η ομάδα έλκεται προς την αρχιτεκτονική πολλαπλών συστάδων με κοινή χρήση δεδομένων, καθώς δεν απαιτεί επανεγγραφή ερωτήματος, επιτρέπει αποκλειστικό υπολογισμό για αυτόν τον συγκεκριμένο φόρτο εργασίας, αποφεύγει την ανάγκη αντιγραφής ή μετακίνησης δεδομένων από το κύριο σύμπλεγμα και παρέχει υψηλή ταυτόχρονη και αυτόματη κλιμάκωση. Τέλος, χρεώνεται σε ένα μοντέλο πληρωμής για αυτό που χρησιμοποιείτε και η παροχή είναι απλή και γρήγορη.

Απόδειξη της έννοιας

Αφού αξιολόγησε τις επιλογές, η ομάδα δεδομένων της Aura αποφάσισε να πραγματοποιήσει μια απόδειξη της ιδέας χρησιμοποιώντας το Redshift Serverless ως καταναλωτή του κύριου παρεχόμενου συμπλέγματος Redshift, μοιράζοντας μόνο τους σχετικούς πίνακες για την εκτέλεση των απαιτούμενων ερωτημάτων. Το Redshift Serverless μετρά τη χωρητικότητα της αποθήκης δεδομένων στις μονάδες επεξεργασίας Redshift (RPU). Ένα μόνο RPU παρέχει 16 GB μνήμης και ένα τελικό σημείο χωρίς διακομιστή μπορεί να κυμαίνεται από 8 RPU έως 512 RPU.

Η ομάδα δεδομένων της Aura ξεκίνησε την απόδειξη της ιδέας χρησιμοποιώντας ένα τελικό σημείο Redshift Serverless 256 RPU και σταδιακά μείωσε το RPU για να μειώσει το κόστος, διασφαλίζοντας παράλληλα ότι ο χρόνος εκτέλεσης του ερωτήματος ήταν κάτω από τον απαιτούμενο στόχο.

Τελικά, η ομάδα αποφάσισε να χρησιμοποιήσει ένα τελικό σημείο Redshift Serverless 128 RPU (2 TB RAM) ως βασικό RPU, ενώ χρησιμοποιούσε τη λειτουργία αυτόματης κλιμάκωσης χωρίς διακομιστή Redshift, η οποία επιτρέπει την εκτέλεση εκατοντάδων ταυτόχρονων ερωτημάτων με αυτόματη αναβάθμιση της RPU όπως απαιτείται.

Η νέα λύση της Aura με το Redshift Serverless

Μετά από μια επιτυχημένη απόδειξη της ιδέας, η εγκατάσταση παραγωγής περιελάμβανε την προσθήκη κώδικα για εναλλαγή μεταξύ του παρεχόμενου συμπλέγματος Redshift και του τερματικού σημείου χωρίς διακομιστή Redshift. Αυτό έγινε χρησιμοποιώντας ένα ρυθμιζόμενο όριο που βασίζεται στον αριθμό των ερωτημάτων που περιμένουν να υποβληθούν σε επεξεργασία σε ένα συγκεκριμένο θέμα MSK που καταναλώθηκε στην αρχή του αγωγού. Τα ερωτήματα καμπάνιας μικρής κλίμακας θα εξακολουθούσαν να εκτελούνται στο παρεχόμενο σύμπλεγμα και τα ερωτήματα μεγάλης κλίμακας θα χρησιμοποιούν το τελικό σημείο χωρίς διακομιστή Redshift. Η νέα λύση χρησιμοποιεί μια διοχέτευση Amazon MWAA που ανακτά πληροφορίες διαμόρφωσης από έναν πίνακα DynamoDB, καταναλώνει εργασίες που αντιπροσωπεύουν διαφημιστικές καμπάνιες και, στη συνέχεια, εκτελεί εκατοντάδες εργασίες EKS που ενεργοποιούνται χρησιμοποιώντας το EKSPodOperator. Κάθε εργασία εκτελεί τα δύο σειριακά ερωτήματα (το ερώτημα προετοιμασίας ακολουθούμενο από ένα κύριο ερώτημα, το οποίο εξάγει τα αποτελέσματα στο Amazon S3). Αυτό συμβαίνει πολλές εκατοντάδες φορές ταυτόχρονα χρησιμοποιώντας υπολογιστικούς πόρους χωρίς διακομιστή Redshift.

Στη συνέχεια, η διαδικασία ξεκινά ένα άλλο σύνολο χειριστών EKSPodOperator για την εκτέλεση του εκπαιδευτικού κώδικα AI με βάση το αποτέλεσμα δεδομένων που αποθηκεύτηκε στο Amazon S3.

Το παρακάτω διάγραμμα απεικονίζει την αρχιτεκτονική λύσεων.

Αποτέλεσμα

Ο συνολικός χρόνος λειτουργίας του αγωγού μειώθηκε από 24 ώρες σε μόλις 2 ώρες, μια βελτίωση 12 φορές. Αυτή η ενσωμάτωση του Redshift Serverless, σε συνδυασμό με την κοινή χρήση δεδομένων, οδήγησε σε μείωση κατά 90% στη διάρκεια του αγωγού, ακυρώνοντας την ανάγκη για αντιγραφή δεδομένων ή επανεγγραφή ερωτημάτων. Επιπλέον, η εισαγωγή ενός αποκλειστικού καταναλωτή ως αποκλειστικού υπολογιστικού πόρου μείωσε σημαντικά το φορτίο του συμπλέγματος παραγωγών, επιτρέποντας την εκτέλεση ερωτημάτων μικρής κλίμακας ακόμη πιο γρήγορα.

"Το Redshift Serverless και η κοινή χρήση δεδομένων μας επέτρεψαν να παρέχουμε και να κλιμακώνουμε τη χωρητικότητα της αποθήκης δεδομένων μας για να προσφέρουμε γρήγορη απόδοση, υψηλή ταυτόχρονη χρήση και να χειριζόμαστε δύσκολους φόρτους εργασίας ML με πολύ ελάχιστη προσπάθεια."

– Amir Souchami, Κύριος Αρχιτέκτονας Τεχνικών Συστημάτων της Aura.

Εκμάθηση

Η ομάδα δεδομένων της Aura είναι ιδιαίτερα επικεντρωμένη στην εργασία με οικονομικά αποδοτικό τρόπο και ως εκ τούτου έχει εφαρμόσει διάφορους ελέγχους κόστους στο τελικό σημείο χωρίς διακομιστή Redshift:

• Περιορίστε τη συνολική δαπάνη ορίζοντας α μέγιστο όριο χρήσης ωρών RPU (ανά ημέρα, εβδομάδα, μήνα) για την ομάδα εργασίας. Η Aura διαμόρφωσε αυτό το όριο έτσι ώστε όταν το φτάσει, το Amazon Redshift θα στείλει μια ειδοποίηση στη σχετική ομάδα διαχειριστή του Amazon Redshift. Αυτή η δυνατότητα επιτρέπει επίσης τη σύνταξη μιας καταχώρησης σε έναν πίνακα συστήματος και ακόμη και την απενεργοποίηση των ερωτημάτων χρήστη.
• Χρήση μέγιστη διαμόρφωση RPU, το οποίο ορίζει το ανώτατο όριο υπολογιστικών πόρων που μπορεί να χρησιμοποιήσει το Redshift Serverless ανά πάσα στιγμή. Όταν έχει οριστεί το μέγιστο όριο RPU για την ομάδα εργασίας, το Redshift Serverless κλιμακώνεται εντός αυτού του ορίου για να συνεχίσει να εκτελεί τον φόρτο εργασίας.
• Εφαρμογή κανόνες παρακολούθησης ερωτημάτων που αποτρέπουν τη σπάταλη χρήση των πόρων και το υπερβολικό κόστος που προκαλείται από κακώς γραπτά ερωτήματα.

Συμπέρασμα

Μια αποθήκη δεδομένων είναι ένα κρίσιμο μέρος οποιασδήποτε σύγχρονης εταιρείας που βασίζεται σε δεδομένα, δίνοντάς σας τη δυνατότητα να απαντάτε σε σύνθετες επιχειρηματικές ερωτήσεις και να παρέχετε πληροφορίες. Η εξέλιξη του Amazon Redshift επέτρεψε στην Aura να προσαρμοστεί γρήγορα στις επιχειρηματικές απαιτήσεις συνδυάζοντας την κοινή χρήση δεδομένων μεταξύ προβλεπόμενων και αποθηκών δεδομένων χωρίς διακομιστή Redshift. Το ταξίδι της Aura με το Redshift Serverless υπογραμμίζει τις τεράστιες δυνατότητες της στρατηγικής ενσωμάτωσης τεχνολογίας στην απόδοση οδήγησης και λειτουργική αριστεία.

Εάν το ταξίδι της Aura σας έχει προκαλέσει το ενδιαφέρον και σκέφτεστε να εφαρμόσετε μια παρόμοια λύση στον οργανισμό σας, ακολουθούν ορισμένα στρατηγικά βήματα που πρέπει να λάβετε υπόψη:

• Ξεκινήστε κατανοώντας πλήρως τις ανάγκες δεδομένων του οργανισμού σας και πώς μια τέτοια λύση μπορεί να τις αντιμετωπίσει.
• Απευθυνθείτε στους ειδικούς της AWS, οι οποίοι μπορούν να σας παρέχουν καθοδήγηση με βάση τις δικές τους εμπειρίες. Εξετάστε το ενδεχόμενο συμμετοχής σε σεμινάρια, εργαστήρια ή διαδικτυακά φόρουμ που συζητούν αυτές τις τεχνολογίες. Συνιστώνται οι ακόλουθοι πόροι για να ξεκινήσετε:
• Ένα σημαντικό μέρος αυτού του ταξιδιού θα ήταν η εφαρμογή μιας απόδειξης της ιδέας. Αυτή η πρακτική εμπειρία θα προσφέρει πολύτιμες γνώσεις πριν προχωρήσετε στην παραγωγή.

Αναβαθμίστε την τεχνογνωσία σας στο Redshift. Απολαμβάνετε ήδη τη δύναμη του Amazon Redshift; Βελτιώστε τη διαδρομή δεδομένων σας με το πιο πρόσφατα χαρακτηριστικά και καθοδήγηση ειδικών. Απευθυνθείτε στην αποκλειστική ομάδα του λογαριασμού σας AWS για εξατομικευμένη υποστήριξη, ανακαλύψτε δυνατότητες αιχμής και ξεκλειδώστε ακόμη μεγαλύτερη αξία από τα δεδομένα σας με Amazon Redshift.

Σχετικά με τους Συγγραφείς

Αμίρ Σουχαμί, Chief Architect of Aura από την Unity, εστιάζοντας στη δημιουργία ανθεκτικών και αποδοτικών συστημάτων cloud και εφαρμογών για κινητά σε μεγάλη κλίμακα.

Fabian Szenkier είναι ο αρχιτέκτονας ML και Big Data στο Aura by Unity, εργάζεται για την κατασκευή σύγχρονων λύσεων AI/ML και αγωγών τεχνολογίας δεδομένων αιχμής σε κλίμακα.

Λιάτ Τζουρ είναι Ανώτερος Τεχνικός Διευθυντής Λογαριασμού στο Amazon Web Services. Λειτουργεί ως συνήγορος του πελάτη και βοηθά τους πελάτες της να επιτύχουν λειτουργική αριστεία στο cloud σε ευθυγράμμιση με τους επιχειρηματικούς τους στόχους.

Adi Jabkowski είναι Sr. Redshift Specialist στην EMEA, μέλος του Worldwide Specialist Organization (WWSO) στο AWS.

Yonatan Dolan είναι Κύριος Ειδικός Αναλύσεων στο Amazon Web Services. Βρίσκεται στο Ισραήλ και βοηθά τους πελάτες να αξιοποιήσουν τις αναλυτικές υπηρεσίες AWS για να αξιοποιήσουν δεδομένα, να αποκτήσουν πληροφορίες και να αντλήσουν αξία.

• SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
• PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
• PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
• PlatoESG. Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
• PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
• πηγή: https://aws.amazon.com/blogs/big-data/how-aura-from-unity-revolutionized-their-big-data-pipeline-with-amazon-redshift-serverless/