انقر لمعرفة المزيد عن المؤلف كريج ستيوارت.

نحن في صناعة التكنولوجيا بارعون في الكثير من الأشياء ، ولكن هناك شيء واحد على وجه الخصوص نتفوق فيه حقًا - إنشاء "حساء أبجدي" بمصطلحات مختلفة يجب البحث عنها على الإنترنت. في الآونة الأخيرة ، كان هناك قدر كبير من النقاش في دوائر الصناعة حول الشروط ETL (استخراج ، تحويل ، تحميل) و ELT (استخراج ، تحميل ، تحويل). هذه المصطلحات والنقاش وسوء الفهم في كثير من الأحيان حول الطريقة الأفضل أو التي يجب استخدامها عندما لا تكون جديدة. ومع ذلك ، مع التركيز المتجدد على جمع واستخدام بيانات شركتك في السحابة لتبسيط العمليات التجارية واتخاذ قرارات أفضل ، فمن المنطقي أن المناقشة قد تم تجديدها. 

لقد أعاد الوباء المستمر تركيز الشركات عليها تحسين عملياتهم الخاصة وتمكين موظفيهم من القيام بالمزيد ، وهذا كله يعود لمنح موظفيك - فريقك - أفضل فرصة للنجاح. أثبت الاستخدام الذكي للبيانات في جميع جوانب العمل ، ومن قبل جميع الفرق في مؤسستك ، أنه أفضل علاج للاضطراب الناجم عن الوباء.

ما الذي يأتي أولاً - T أم L؟

ترتبط مصطلحات ETL و ELT ارتباطًا وثيقًا. في نهاية اليوم ، لا توجد إجابة صحيحة أو خاطئة عن الطريقة التي يجب أن تستخدمها مؤسستك. يتعلق الأمر حقًا بما تحاول تحقيقه وما عليك العمل معه من أجل الوصول إلى هناك. لكل طريقة مزايا وعيوب ومزايا وعيوب. لفهم الطريقة الأفضل ، من المهم أن نفهم ما تعنيه عندما يأتي حرف قبل الآخر. لنلقِ نظرة على التعريفات المشتركة لكلٍّ منها:

• ETL (استخراج وتحويل وتحميل): باستخدام هذا النهج ، تسحب المؤسسات البيانات من مصدر واحد أو أكثر ، ولكن قبل تحميلها في مستودع البيانات أو بحيرة البيانات ، فإن الخطوة التالية هي تنظيف البيانات للاستخدام. يستلزم ذلك مراجعة البيانات ، ووضعها في التصنيفات والتنسيقات الصحيحة ، والتأكد من أنها تتماشى مع قاعدة البيانات المستهدفة الحالية. ثم يتم تحميل البيانات في نظامك المستهدف وتكون جاهزة للاستخدام من قبل فريقك.

• ELT (الاستخراج والتحميل والتحويل): تأخذ هذه الطريقة البيانات من واحد أو عدة مصادر بيانات بعيدة وتحميلها في منطقة التدريج في مستودع البيانات دون النظر إلى أي من البيانات أو تغييرها مسبقًا. باستخدام هذا النهج ، بمجرد تحميل البيانات ، يمكن للمؤسسات بعد ذلك تنقية البيانات وتحويلها إلى التنسيقات والفئات المستهدفة المحددة بعد التحميل ، لجعلها قابلة للاستخدام من قبل برامج وأعضاء فريق معينين. 

كما ذكرنا ، كلاهما متشابه ، وفي النهاية توصل مؤسستك إلى نفس الهدف النهائي - استخدام البيانات لتحسين الطريقة التي تعمل بها مؤسستك. ومع ذلك ، فإن الاختلاف الرئيسي بين الاثنين - عند تنقية البيانات الواردة وتحويلها - يحتاج إلى النظر إليه بمزيد من التفصيل ، حسب احتياجات مؤسستك وقدراتها ومواردها للتعامل مع كل نهج ، جنبًا إلى جنب مع نوع البيانات عليك أن تعمل معه ، سيساعدك على إملاء أيهما أفضل لك.

متى يتم تحويل بياناتك

يجب أن تبدأ بالنظر في أنواع البيانات التي ستتعامل معها. في كثير من الحالات ، ستساعد مراجعة المتغيرات التالية في اتخاذ القرار نيابة عنك. 

• تنسيق البيانات: إذا كانت بياناتك غير منظمة ، فإنها لا تتناسب بدقة مع البنية العلائقية ، والتي ستعمل من خلالها معظم أدوات التحليل. في هذه الحالة ، ستحتاج إلى استخدام نهج ETL لإعادة تشكيل البيانات للعمل مع تنسيق علائقي ، والذي يمكن بعد ذلك استخدامه من قبل مستهلكي بيانات المستخدم النهائي. إذا كانت بياناتك موجودة بالفعل في شكل علائقي أو مسطح ، فيمكن تحميلها مباشرة بنمط ELT في الهدف ، ثم من المحتمل أن يتم تجميعها في النموذج المستهدف ، إلى جانب أي عمليات فرز / تجميع / صلات وتنظيف.

• حجم البيانات: تأتي مجموعات البيانات بأشكال وأحجام مختلفة. يؤثر هذا المتغير على قرار ETL مقابل ELT أيضًا. بالنسبة لمجموعات البيانات الكبيرة ، ترى استخدام ELT بحيث يمكن معالجة الكمية الكبيرة من البيانات وتحويلها في نفس الوقت. كما أتاحت التحسينات في سرعة وقوة المعالجة إمكانية التعامل مع مجموعات البيانات الكبيرة كوحدة واحدة. غالبًا ما يتم ربط كميات أصغر من البيانات بنهج ETL. 

• التكلفة: إلى جانب ما سبق ، هناك اعتبار مهم وهو مدى تكلفة العمل مع البيانات. أحد أغلى الأشياء التي يمكنك القيام بها باستخدام البيانات هو نقل وحدات البت الفعلية التي تتكون منها. غالبًا ما تكون البيانات قد وصلت بالفعل إلى النظام المستهدف ، والمطلوب هو تنظيف / تنسيق / تجميع البيانات. إذا كان لديك فقط أداة ETL للقيام بذلك ، فيجب عليك نقل هذه البتات فعليًا من قاعدة البيانات ، ثم إلى نظام خارجي للقيام بهذه المعالجة ، ثم نقل البيانات الناتجة مرة أخرى إلى قاعدة البيانات أو المستودع. يمكن أن تصبح هذه العملية - نقل كل تلك القطع - مكلفة للغاية لإنجازها ، ناهيك عن استنزاف القوى العاملة. بدلاً من ذلك ، إذا كانت البيانات موجودة بالفعل ، ولديك "معالجة غير محدودة" عند الطلب في مستودع بيانات سحابي ، فقد يكون من المفيد استخدام قدرة المعالجة المتوازية الهائلة المتوفرة من أجل القيام بما هو ضروري للبيانات ، دون الحاجة إلى حركه. هذه عملية أكثر كفاءة ، مع وجود عدد أقل بكثير من الأجزاء المتحركة للتنسيق أيضًا.

• مصدر البيانات: يأتي دور مصدر البيانات هنا أيضًا. ما نوع التطبيق أو مصدر البيانات الذي يأتي منه؟ هل يتصل هذا المصدر بسهولة بما تستخدمه مؤسستك ، أم سيكون هناك قدر كبير من أعمال التحويل التي يتعين القيام بها للتأكد من أن البيانات قابلة للاستخدام؟ هل يأتي من متجر محلي أم من السحابة؟ هناك اعتبار آخر هنا وهو أن نهج ELT سيستخدم عمليات محددة على البيانات ، والتي هي بطبيعتها "مجمعة" للغاية. قد يكون هذا جيدًا - وحتى مناسبًا تمامًا - لأحجام أكبر من البيانات ، ولكنه ببساطة ليس مناسبًا إذا كانت البيانات أقرب إلى البث أو المراسلة. في هذه الحالة ، سيكون أسلوب ETL دائمًا هو الأسلوب الأفضل.

• المقصد البيانات: ترتبط ارتباطا وثيقا بالمصدر مسألة تحديد وجهة البيانات داخل مؤسستك. هل مصدر البيانات يتصل به بسهولة؟ هل هم من شركات مختلفة ذات نسيج ضام محدود؟ هل يجب أن تبدو البيانات الواردة من منتج واحد مختلفة تمامًا لاستخدامها بواسطة حل مستودع البيانات؟ غالبًا ما تكون ETL هي الطريقة المفضلة للبيانات التي تحتوي على منتج أو نمط مختلف للمصدر والوجهة ، أو يتم تخزينها محليًا ؛ بينما بالنسبة للبيانات التي تنتقل من التفاح إلى التفاح ، غالبًا ما يتم استخدام ELT.

• الشدة: هذا الأمر شخصي إلى حد ما ، لكن الفكرة تكمن في النظر إلى مقدار العمل الذي سيستغرقه تحويل البيانات ليصبح شيئًا مفيدًا لتحليل فريقك واحتياجات اتخاذ القرار. يلعب الحجم هنا أيضًا. إذا كانت عملية التحول أقل تعقيدًا ، فقد يكون ELT هو الخيار الصحيح. إذا كانت التحولات أكثر تعقيدًا ، فإن العديد من المؤسسات تختار ETL ، لذلك يتم عمل القليل في وقت واحد بدلاً من القيام بكل شيء مرة واحدة. ومع ذلك ، مع قوة الحلول السحابية التي تمكّنك من توسيع قدراتك وتوسيع نطاقك حسب الحاجة ، قد لا يكون وجود المزيد من الموارد المتاحة لمعالجة مجموعات البيانات الأكبر عبر ELT مشكلة تدعو للقلق.

كما توقعت على الأرجح ، يحدث تحويل البيانات في أماكن مختلفة اعتمادًا على الطريقة التي تختارها. في ETL ، توجد مرحلة ما بين قبل أن تصل البيانات إلى المستودع حيث تتم عمليات التحويل. 

في ELT ، يقوم مستودع البيانات أو نظام إدارة قاعدة البيانات الذي قمت بتحميل البيانات فيه بإجراء التحويل. يتطلب ELT فقط بيانات أولية من قاعدة البيانات للعمل ، ولكنه يتطلب أيضًا قدرًا كبيرًا من الطاقة والنفقات العامة لتخزين البيانات وتحويلها. وهذا بدوره يسمح بوقت أقصر بين استخراج البيانات واستخدامها ، ويوفر خيار قدر أكبر من التخصيص. لهذا السبب ، يمكن لفرق العمل الآن إنشاء خطوط أنابيب البيانات الخاصة بهم بسرعة والاطلاع على الفور على الرؤى التي يمكن أن تغير الأعمال.

اختر أدوات التكنولوجيا الخاصة بك بحكمة

هناك الكثير من المتغيرات التي يجب مراعاتها عند اتخاذ قرار بنقل البيانات إلى قاعدة بيانات باستخدام طريقة ETL أو ELT. بالنسبة للبعض ، قد تجعل المتغيرات الاختيار أكثر من عدم الاختيار. ومع ذلك ، في نقاط مختلفة طوال رحلة مؤسستك ، يمكنك تفضيل طريقة أو أخرى. يمكن أن تساعدك العديد من الأدوات في السوق إما على تحويل بياناتك قبل التحميل ، أو تحميل بياناتك قبل التحويل. هناك حلول يمكن أن تسهل عليك اختيار أي من الأسلوبين اعتمادًا على أنواع البيانات والمتطلبات التنظيمية في لحظة محددة من الوقت ، بدلاً من إجبارك على تحديد نهج ETL أو ELT إلى الأبد ، بسبب تحميل البيانات أو التطهير البرامج التي استثمرت فيها بالفعل. الشيء المهم الذي يجب تذكره هو أن نهجك قد يتغير بمرور الوقت ويجب أن يتغير - لذا استثمر بحكمة في الأدوات التي يمكن أن تتكيف مع نهجك.

كوينسمارت. Beste Bitcoin-Börse في أوروبا
المصدر: https://www.dataversity.net/understanding-the-etl-vs-elt-alphabet-soup-and-when-to-use-each/