تعد البيانات أحد الأصول الإستراتيجية الرئيسية لكل مؤسسة، وكل شركة هي شركة بيانات في جوهرها. ومع ذلك، في العديد من المؤسسات، تنتشر البيانات عادةً عبر عدد من الأنظمة المختلفة مثل تطبيقات البرامج كخدمة (SaaS)، وقواعد البيانات التشغيلية، ومستودعات البيانات. تجعل صوامع البيانات هذه من الصعب الحصول على طرق عرض موحدة للبيانات في المؤسسة والتصرف في الوقت الفعلي لاستخلاص أكبر قيمة.
منذ عشر سنوات، أطلقنا الأمازون كينسيس دفق البيانات، أول خدمة تدفق بيانات سحابية أصلية بدون خادم، لتكون بمثابة العمود الفقري للشركات، لنقل البيانات عبر حدود النظام، وكسر صوامع البيانات. من خلال تدفق البيانات، يمكنك تشغيل بحيرات البيانات التي تعمل عليها خدمة تخزين أمازون البسيطة (Amazon S3)، وإثراء تجارب العملاء من خلال التخصيص، وتحسين الكفاءة التشغيلية من خلال الصيانة التنبؤية للآلات في مصانعك، وتحقيق رؤى أفضل باستخدام نماذج التعلم الآلي (ML) الأكثر دقة. تعد Amazon Kinesis Data Streams ركيزة أساسية لاستراتيجية البيانات لعشرات الآلاف من العملاء. عندما تتجمع تدفقات البيانات الأولية معًا، فإنها تطلق العنان لقدرات تحويل البيانات وإثرائها والاستعلام عنها بشكل مستمر في الوقت الفعلي من خلال التكامل السلس مع محركات معالجة التدفق مثل خدمة أمازون المُدارة لـ Apache Flink.
كمثال على ذلك دوري الهوكي الوطني (NHL) أعادت تصور تجربة المعجبين من خلال البث المباشر لبيانات وإحصائيات لعبة NHL EDGE لتزويد مشجعي الهوكي برؤى قيمة لإبقاء المشجعين على حافة مقاعدهم. تولد تقنية NHL EDGE الموجودة في لعبة الهوكي والسترات الصوفية (القمصان) للاعبين آلاف نقاط البيانات كل ثانية لـ NHL، والتي يمكن تحليلها بواسطة AWS للتنبؤ بالنتائج المحتملة للأحداث الرئيسية مثل المواجهات. لمعالجة آلاف الإشارات وتحليلها، قامت NHL ببناء أساس بيانات متدفقة في الوقت الفعلي باستخدام Kinesis Data Streams وAmazon Managed Service لـ Apache Flink لدفق البيانات وإعدادها وإدخالها في نماذج ML، مما يساعد في إعلام تنبؤات المواجهة في ثوانٍ و توسيع طرق جديدة لجذب المشاهدين.
بناءً على أسس البيانات المتدفقة هذه، يفكر العديد من العملاء حاليًا في كيفية تقديم منتجات وخدمات جديدة تحويلية باستخدام الذكاء الاصطناعي التوليدي. يتيح البث للشركات ربط البيانات المتوفرة داخل مخازن البيانات بنماذج اللغات الكبيرة (LLMs) بشكل آمن وفي الوقت الفعلي. على الرغم من أن LLMs قادرة على العمل مع مليارات المعلمات، من أجل تقديم تجربة جذابة مصممة خصيصًا لعملاء الشركة، تتطلب LLMs بيانات تخصيص لمستخدمي الشركة ومخازن المعرفة الخاصة داخل مخازن بيانات الشركة. تعد استراتيجية البيانات التي تتضمن التدفق ضرورية لتقديم البيانات الشخصية والملكية المتاحة للاستعلام في الوقت الفعلي.
العملاء الذين لديهم إستراتيجية تدفق البيانات في الوقت الفعلي هم في طليعة تقديم منتجات مبتكرة مع الذكاء الاصطناعي التوليدي. اعتمد أحد العملاء Kinesis Data Streams في استراتيجية البيانات الخاصة به، وقاموا ببث مليارات الأحداث من منتجاتهم الرقمية لاستخلاص رؤى في الوقت الفعلي. ومن خلال الجمع بين تدفق البيانات والتحليلات ذات زمن الوصول المنخفض، فإنهم قادرون على فهم تجربة المستخدم وتخصيصها عبر نظام متكامل بسلاسة ويعتمد على نفسه للتجريب والتعليقات الآلية. في وقت سابق من هذا العام، بناءً على أساس البيانات القوي بالفعل، أطلقوا منتجًا مبتكرًا للوسائط الرقمية يعتمد على الذكاء الاصطناعي. يتم استخدام نفس أساس البيانات المبني على Kinesis Data Streams للتحليل المستمر لكيفية تفاعل المستخدمين مع المحتوى الذي تم إنشاؤه ومساعدة فريق المنتج على ضبط التطبيق.
"تعد تقنيات تدفق البيانات في الوقت الفعلي ضرورية للتحول الرقمي. تساعد هذه الخدمات العملاء على جلب البيانات إلى تطبيقاتهم ونماذجهم، مما يجعلها أكثر ذكاءً. تمنح البيانات في الوقت الفعلي الشركات ميزة في القرارات والتنبؤات والرؤى المستندة إلى البيانات باستخدام البيانات في نفس اللحظة التي يتم إنشاؤها فيها، مما يوفر ميزة لا مثيل لها في عالم حيث التوقيت هو مفتاح النجاح. قم بإحضار البيانات مرة واحدة، واستخدمها عبر مؤسستك، وتصرف قبل أن تتضاءل قيمة تلك البيانات".
– ميندي فيرجسون، نائب الرئيس للبث والمراسلة لدى AWS.
بينما نحتفل بالذكرى السنوية العاشرة لـ Kinesis Data Streams، شارك العملاء أربعة أسباب رئيسية تجعلهم يواصلون تقدير هذه الخدمة الثورية. إنهم يحبون الطريقة التي يمكنهم بها دفق البيانات بسهولة دون الحاجة إلى خوادم أساسية لتوفيرها أو إدارتها، والعمل على نطاق واسع بأداء متسق، وتحقيق مرونة ومتانة عالية، والاستفادة من التكامل الواسع مع عدد لا يحصى من المصادر والمصارف لاستيعاب البيانات ومعالجتها على التوالي.
سهولة الاستخدام
يعد بدء استخدام Kinesis Data Streams أمرًا بسيطًا ومباشرًا: يمكن للمطورين إنشاء دفق بيانات ببضع نقرات على وحدة تحكم Kinesis Data Streams أو من خلال استدعاء واجهة برمجة التطبيقات (API) واحد. يعد تغيير الحجم أو التكوين أيضًا بمثابة استدعاء واحد لواجهة برمجة التطبيقات (API)، ويأتي كل تدفق بيانات مع فترة افتراضية للاحتفاظ بالبيانات مدتها 24 ساعة. لا يتعين على المطورين القلق بشأن المجموعات أو ترقيات الإصدارات أو تخطيط سعة التخزين. إنهم يقومون فقط بتشغيل دفق البيانات والبدء في استيعاب البيانات.
لقد تطورت احتياجات عملائنا في السنوات العشر الماضية. ومع التقاط المزيد من الأحداث وبثها، يرغب العملاء في توسيع تدفقات البيانات الخاصة بهم بشكل مرن دون أي تكاليف تشغيلية. ردا على ذلك، أطلقنا على الطلب التدفقات في عام 2021 لتوفير تجربة توسيع بسيطة وتلقائية. باستخدام التدفقات عند الطلب، فإنك تسمح للخدمة بالتعامل مع زيادة سعة التدفق بشكل استباقي، ولا يتم محاسبتك إلا مقابل البيانات الفعلية التي يتم استيعابها واسترجاعها وتخزينها. مع استمرار عملائنا في المطالبة بمزيد من الإمكانات، قمنا بزيادة حد إنتاجية الاستيعاب لكل تدفق عند الطلب من 200 ميجابايت/ثانية إلى 1GB / ثانية في مارس 2023، ثم إلى 2GB / ثانية في أكتوبر 2023، لاستيعاب أحمال العمل ذات الإنتاجية الأعلى. لمواصلة الابتكار لنكون أسهل خدمة لبث البيانات من حيث الاستخدام، فإننا نستمع بنشاط إلى حالات استخدام عملائنا.
Canva هي منصة للتصميم والتواصل المرئي عبر الإنترنت. نظرًا لنموها السريع من 30 مليونًا إلى 135 مليون مستخدم شهريًا، فقد قامت ببناء منصة بيانات متدفقة على نطاق واسع يسهل تشغيلها لقيادة ابتكارات المنتجات وتخصيص تجربة المستخدم.
"يتم استخدام Amazon Kinesis Data Streams وAWS Lambda في جميع أنحاء منصة التسجيل في Canva، حيث يتم استيعاب ومعالجة أكثر من 60 مليار حدث سجل يوميًا. أدى الجمع بين Kinesis Data Streams وLambda إلى استخلاص الكثير من العمل الذي غالبًا ما يكون مطلوبًا في إدارة خط بيانات ضخم، مثل نشر وإدارة أسطول من الخوادم، مع توفير خدمة موثوقة وقابلة للتطوير بدرجة كبيرة. لقد سمح لنا بالتركيز على تقديم منتج عالمي المستوى من خلال بناء الميزات المطلوبة بشدة بدلاً من قضاء الوقت في العمل التشغيلي.
– فيبي تشو، مهندسة برمجيات في Canva.
العمل على نطاق واسع مع أداء ثابت
أحد المتطلبات الأساسية لاستراتيجية تدفق البيانات هو استيعاب ومعالجة كميات كبيرة من البيانات مع زمن وصول منخفض. تقوم Kinesis Data Streams بمعالجة تريليونات السجلات يوميًا عبر عشرات الآلاف من العملاء. يقوم العملاء بتشغيل أكثر من 3.5 مليون تدفق فريد ومعالجة أكثر من 45 بيتابايت من البيانات يوميًا. يستوعب أكبر عملائنا أكثر من 15 جيجابايت في الثانية من البيانات في الوقت الفعلي من خلال التدفقات الفردية. وهذا يعادل تدفق نقاط بيانات متعددة لكل شخص على وجه الأرض، في كل ثانية! وحتى على هذا النطاق، لا يزال جميع عملائنا يسترجعون البيانات في غضون ميلي ثانية من توفرها.
يرغب العملاء أيضًا في معالجة نفس البيانات باستخدام تطبيقات متعددة، حيث يستمد كل منها قيمة مختلفة، دون القلق بشأن تأثير أحد التطبيقات على إنتاجية القراءة لتطبيق آخر. تعزيز المروحة يوفر إنتاجية قراءة مخصصة وزمن وصول منخفض لكل مستهلك للبيانات. وقد مكّن هذا فرق النظام الأساسي للمؤسسة من توفير البيانات في الوقت الفعلي لمزيد من الفرق والتطبيقات.
VMware الكربون الأسود يستخدم Kinesis Data Streams لاستيعاب بيتابايت من البيانات يوميًا لتأمين الملايين من نقاط النهاية للعملاء. يركز الفريق على خبرته بينما تدير AWS تدفق البيانات لتلبية حركة العملاء المتزايدة واحتياجاتهم في الوقت الفعلي.
"عندما تزيد بيانات العميل الفردي أو تنخفض، يمكننا استخدام مرونة Amazon Kinesis Data Streams لتوسيع نطاق الحوسبة أو خفضها لمعالجة البيانات بشكل موثوق مع إدارة تكاليفنا بشكل فعال. هذا هو السبب في أن Kinesis Data Streams مناسب تمامًا. الميزة الأكبر هي الطبيعة المُدارة للحل الذي نقدمه على AWS. لقد شكل هذا الأمر هندستنا المعمارية وساعدنا في تحويل التعقيد إلى مكان آخر.
– ستويان ديمكوف، مهندس الموظفين ومهندس البرمجيات في شركة VMware Carbon Black.
تعرف على المزيد حول دراسة حالة.
توفير المرونة والمتانة لتدفق البيانات
ومع تزايد البيانات، يريد العملاء المزيد من المرونة في معالجة البيانات وإعادة معالجتها. على سبيل المثال، إذا أصبح أحد التطبيقات التي تستهلك البيانات غير متصل بالإنترنت لفترة من الوقت، فإن الفرق تريد التأكد من استئناف المعالجة في وقت لاحق دون فقدان البيانات. يوفر Kinesis Data Streams فترة احتفاظ افتراضية مدتها 24 ساعة، مما يتيح لك تحديد طابع زمني محدد لبدء معالجة السجلات من خلاله. مع ال الاحتفاظ الموسعة الميزة، يمكنك تكوين فترة الاحتفاظ بالبيانات لمدة تصل إلى 7 أيام.
بعض الصناعات مثل الخدمات المالية والرعاية الصحية لديها متطلبات امتثال أكثر صرامة، لذلك طلب العملاء فترات أطول للاحتفاظ بالبيانات لدعم هذه المتطلبات. ولذلك تابعنا التخزين الطويل الأجل يدعم الاحتفاظ بالبيانات لمدة تصل إلى عام واحد. الآن، يستخدم الآلاف من عملاء Kinesis Data Streams هذه الميزات لجعل تطبيقات البث الخاصة بهم أكثر مرونة ومتانة.
ميركادو ليبر، وهي منصة رائدة للتجارة الإلكترونية والمدفوعات في أمريكا اللاتينية، تعتمد على Kinesis Data Streams لدعم إستراتيجية البيانات المتدفقة الخاصة بها حول معالجة الدفع وتجربة العملاء والعمليات.
"مع وجود Amazon Kinesis Data Streams في المركز، فإننا نعالج ما يقرب من 70 مليار رسالة يومية موزعة عبر الآلاف من منتجي البيانات. ومن خلال الاستفادة من Kinesis Data Streams وAmazon DynamoDB Streams، قمنا بتبني بنية تعتمد على الأحداث ونستطيع الاستجابة بسرعة لتغيرات البيانات.
- خواكين فرنانديز، خبير برمجيات أول في Mercado Libre.
الوصول إلى البيانات الخاصة بك بغض النظر عن المكان الذي تعيش فيه
يستخدم عملاؤنا مجموعة واسعة من الأدوات والتطبيقات، وغالبًا ما تتواجد بيانات المؤسسة في العديد من الأماكن. ولذلك، فإن القدرة على دمج البيانات بسهولة عبر المؤسسة أمر بالغ الأهمية لاستخلاص الرؤى في الوقت المناسب. يستخدم المطورون مكتبة Kinesis Producer Library، وKinesis Client Library، وAWS SDK لإنشاء تطبيقات مخصصة لمنتجي البيانات ومستهلكي البيانات بسرعة. قام العملاء بتوسيع منتجي البيانات لديهم بدءًا من الخدمات الصغيرة إلى أجهزة التلفزيون الذكية وحتى السيارات. لدينا أكثر من 40 عملية تكامل مع خدمات AWS وتطبيقات الجهات الخارجية مثل Adobe Experience Platform وDatabricks. كما هو مفصل في موقعنا المستند التقني في بناء بنية حديثة لتدفق البيانات على AWS، تعمل Kinesis Data Streams بمثابة العمود الفقري لحالات الاستخدام بدون خادم وفي الوقت الفعلي مثل التخصيص والرؤى في الوقت الفعلي وإنترنت الأشياء (IoT) والهندسة القائمة على الأحداث. تكاملنا الأخير مع الأمازون الأحمر يمكّنك من استيعاب مئات الميجابايت من البيانات من Kinesis Data Streams إلى مستودعات البيانات في ثوانٍ. لمعرفة المزيد حول كيفية استخدام هذا التكامل لاكتشاف الاحتيال في الوقت الفعلي تقريبًا، راجع اكتشاف الاحتيال في الوقت الفعلي تقريبًا باستخدام Amazon Redshift Streaming Ingestion مع Amazon Kinesis Data Streams وAmazon Redshift ML.
تكامل آخر تم إطلاقه في عام 2023 هو مع أمازون مونترون لتشغيل إدارة الصيانة التنبؤية. يمكنك الآن دفق بيانات القياس ونتائج الاستدلال المقابلة إلى Kinesis Data Streams وتنسيق الصيانة التنبؤية وإنشاء بحيرة بيانات IoT. لمزيد من التفاصيل، راجع أنشئ رؤى قابلة للتنفيذ لإدارة الصيانة التنبؤية باستخدام Amazon Monitron و Amazon Kinesis.
بعد ذلك، دعنا نعود إلى حالة استخدام NHL حيث تجمع بين إنترنت الأشياء وتدفق البيانات والتعلم الآلي.
يساعد NHL Edge IQ المدعوم من AWS على تقريب المشجعين من الحدث من خلال التحليلات المتقدمة وإحصائيات ML الجديدة مثل احتمالية المواجهة وتحليل الفرص.
"نحن نستخدم Amazon Kinesis Data Streams لمعالجة بيانات NHL EDGE بشأن مواقع القرص واللاعبين، وموقع المواجهة، ووضع اللعبة الحالي لفصل منتجي البيانات عن التطبيقات المستهلكة. تُستخدم Amazon Managed Service لـ Apache Flink لتشغيل تطبيقات Flink وتستهلك البيانات من Kinesis Data Streams لاستدعاء نموذج التنبؤ في Amazon SageMaker لتقديم مقياس احتمالية المواجهة في الوقت الفعلي. يتم أيضًا تخزين نتائج الاحتمالية في Amazon S3 لإعادة تدريب النموذج بشكل مستمر في SageMaker. قادنا نجاح هذا المشروع إلى بناء المقياس التالي، تحليل الفرص، والذي يقدم أكثر من 25 نظرة ثاقبة حول جودة فرصة التسجيل التي تقدمها كل تسديدة على المرمى. كان لـ Kinesis Data Streams وAmazon Managed Service لتطبيقات Apache Flink أهمية بالغة في عمل تنبؤات مباشرة داخل اللعبة، مما مكن النظام من إجراء حسابات تحليل الفرص لما يصل إلى 16 مباراة مباشرة من NHL في وقت واحد.
– إريك شنايدر، نائب الرئيس الأول لهندسة البرمجيات في دوري الهوكي الوطني.
تعرف على المزيد حول دراسة حالة.
مستقبل البيانات هو الوقت الحقيقي
يعد دمج تدفق البيانات في الوقت الفعلي والذكاء الاصطناعي التوليدي بأن يكون حجر الزاوية في عالمنا المتصل رقميًا. أصبح الذكاء الاصطناعي التوليدي، المدعوم بالتدفق المستمر للمعلومات في الوقت الفعلي من أجهزة إنترنت الأشياء وأجهزة الاستشعار ووسائل التواصل الاجتماعي وغيرها، منتشرًا في كل مكان. ومن المركبات ذاتية القيادة التي تتنقل في ظروف حركة المرور المتغيرة ديناميكيًا إلى المدن الذكية التي تعمل على تحسين استهلاك الطاقة بناءً على الطلب في الوقت الفعلي، فإن الجمع بين الذكاء الاصطناعي والبيانات في الوقت الفعلي سيعزز الكفاءة والابتكار عبر الصناعات. ستعمل هذه التطبيقات المعتمدة على الذكاء الاصطناعي، المنتشرة في كل مكان والقابلة للتكيف والمتكاملة بعمق في حياتنا، على تعزيز الراحة ومعالجة التحديات الحرجة مثل تغير المناخ والرعاية الصحية والاستجابة للكوارث من خلال استخدام ثروة من الرؤى في الوقت الفعلي المتاحة لها. باستخدام Kinesis Data Streams، يمكن للمؤسسات بناء أساس بيانات متين، مما يتيح لك اعتماد تقنيات جديدة بسرعة وفتح فرص جديدة في وقت أقرب - وهو ما نتوقع أن يكون هائلاً.
اكتشف المزيد حول ما يفعله عملاؤنا بتدفق البيانات. إذا كنت ترغب في استكشاف سريع لمفاهيم Kinesis Data Streams وحالات الاستخدام، فراجع موقعنا قائمة تشغيل Amazon Kinesis Data Streams 101. للبدء في إنشاء تدفقات البيانات الخاصة بك، قم بزيارة دليل مطور تدفقات بيانات Amazon Kinesis.
عن المؤلف
روي (KDS) وانغ هو مدير منتج أول في Amazon Kinesis Data Streams. إنه متحمس للتعلم من العملاء والتعاون معهم لمساعدة المؤسسات على العمل بشكل أسرع وأكثر ذكاءً. بعيدًا عن العمل، يسعى روي جاهدًا ليكون أبًا صالحًا لابنه الجديد ويقوم ببناء مجموعات من النماذج البلاستيكية.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/big-data/amazon-kinesis-data-streams-celebrating-a-decade-of-real-time-data-innovation/
