معرفی

در دنیای بزرگ در حال تغییر سریع پردازش داده ها و تجزیه و تحلیل، مدیریت بالقوه مجموعه داده های گسترده به عنوان یک ستون اساسی برای شرکت ها برای تصمیم گیری آگاهانه عمل می کند. این به آنها کمک می کند تا بینش مفیدی را از داده های خود استخراج کنند. راه حل های مختلفی در چند سال گذشته پدیدار شده است، مانند Databricks Delta Lake و Apache Iceberg. این پلتفرم‌ها برای مدیریت دریاچه داده توسعه یافته‌اند و هر دو ویژگی‌ها و عملکردهای قوی را ارائه می‌کنند. اما برای سازمان‌ها لازم است که تفاوت‌های ظریف را از نظر معماری، جنبه‌های فنی و عملکردی برای مهاجرت پلت فرم موجود درک کنند. این مقاله به بررسی روند پیچیده انتقال از دریاچه دلتای دیتابریکس به کوه یخ آپاچی می پردازد.

اهداف یادگیری

• آشنایی با ویژگی های Databricks و Apache Iceberg.
• مقایسه اجزای معماری بین Databricks و Apache Iceberg را یاد بگیرید.
• بهترین شیوه ها برای مهاجرت معماری دریاچه دلتا به پلت فرم منبع باز مانند کوه یخ را درک کنید.
• برای استفاده از ابزارهای شخص ثالث به عنوان جایگزینی برای پلت فرم دریاچه دلتا.

این مقاله به عنوان بخشی از بلاگاتون علم داده.

درک Databricks Delta Lake

Databricks Delta Lake اساساً یک لایه پیچیده از ذخیره سازی است که در بالای آن ساخته شده است جرقه آپاچی چارچوب برخی از عملکردهای داده مدرن را ارائه می دهد که برای مدیریت یکپارچه داده ها توسعه یافته اند. دریاچه دلتا در هسته خود ویژگی های مختلفی دارد:

• معاملات اسید: دریاچه دلتا اصول اساسی اتمی، سازگاری، جداسازی و دوام را برای همه تغییرات در داده های کاربر تضمین می کند، بنابراین عملیات داده های قوی و معتبر را تضمین می کند.
• تکامل طرحواره: انعطاف پذیری عمدتا همراه است دریاچه دلتا، زیرا به طور یکپارچه از تکامل طرحواره پشتیبانی می کند بنابراین صنایع را قادر می سازد تا تغییرات طرحواره را بدون ایجاد اختلال در خطوط لوله داده موجود در تولید انجام دهند.
• سفر زمان: درست مانند سفر در زمان در فیلم های علمی تخیلی، دریاچه دلتا این امکان را فراهم می کند که عکس های فوری داده ها را در نقاط خاصی از زمان جستجو کنید. بنابراین به کاربران امکان می دهد در تجزیه و تحلیل جامع تاریخی داده ها و قابلیت های نسخه سازی عمیق فرو روند.
• مدیریت فایل بهینه شده: دریاچه دلتا از تکنیک های قوی برای سازماندهی و مدیریت فایل های داده و ابرداده پشتیبانی می کند. منجر به عملکرد بهینه پرس و جو و کاهش هزینه های ذخیره سازی می شود.

ویژگی های Apache Iceberg

Apache Iceberg یک جایگزین رقابتی برای شرکت هایی است که به دنبال راه حل مدیریت دریاچه داده پیشرفته هستند. Icebergs برخی از فرمت های سنتی مانند پارکت یا ORC را شکست می دهد. مزایای متمایز زیادی وجود دارد:

• تکامل طرحواره: کاربر می تواند از ویژگی تکامل طرحواره در حین انجام تغییرات طرحواره بدون بازنویسی جدول گران قیمت استفاده کند.
• جداسازی عکس فوری: Iceberg از جداسازی عکس فوری پشتیبانی می کند، بنابراین خواندن و نوشتن مداوم را تضمین می کند. این تغییرات همزمان در جداول را بدون به خطر انداختن یکپارچگی داده ها تسهیل می کند.
• مدیریت فراداده: این ویژگی اساساً متادیتا را از فایل های داده جدا می کند. و آن را در یک مخزن اختصاصی که با خود فایل های داده متفاوت است ذخیره کنید. این کار را برای افزایش عملکرد و توانمندسازی عملیات کارآمد ابرداده انجام می دهد.
• هرس پارتیشن: با استفاده از تکنیک های پیشرفته هرس، عملکرد پرس و جو را با کاهش داده های اسکن شده در طول اجرای پرس و جو بهینه می کند.

تحلیل تطبیقی ​​معماری

اجازه دهید به تحلیل تطبیقی ​​معماری ها عمیق تر بپردازیم:

Databricks Delta Lake Architecture

• لایه ذخیره سازی: دریاچه دلتا از فضای ذخیره سازی ابری به عنوان مثال آمازون S3 استفاده می کند، لکه لاجوردی به عنوان لایه زیرین ذخیره سازی آن، که هم از فایل های داده و هم از گزارش تراکنش ها تشکیل شده است.
• مدیریت فراداده: فراداده در گزارش تراکنش باقی می ماند. بنابراین منجر به عملیات ابرداده کارآمد و تضمین ثبات داده ها می شود.
• تکنیک های بهینه سازی: دریاچه دلتا از تن تکنیک های بهینه سازی. این شامل پرش داده ها و ترتیب Z برای بهبود اساسی عملکرد پرس و جو و کاهش سربار هنگام اسکن داده ها است.

معماری کوه یخ آپاچی

• جداسازی ابرداده ها: تفاوت با مقایسه با پایگاه داده از نظر جداسازی ابرداده از فایل های داده. کوه یخ ابرداده ها را در یک مخزن جدا از فایل های داده ذخیره می کند.
• پشتیبانی معاملاتی: برای اطمینان از یکپارچگی و قابلیت اطمینان داده ها، Iceberg دارای یک پروتکل تراکنش قوی است. این پروتکل عملکرد جدول اتمی و سازگار را تضمین می کند.
• سازگاری: موتورهایی مانند Apache Spark، Flink و Presto به راحتی با Iceberg سازگار هستند. توسعه دهندگان انعطاف پذیری برای استفاده از Iceberg با این چارچوب های پردازش زمان واقعی و دسته ای دارند.

پیمایش چشم انداز مهاجرت: ملاحظات و بهترین شیوه ها

برای پیاده سازی مهاجرت از دریاچه دلتای دیتابریکس به کوه یخ آپاچی، به برنامه ریزی و اجرا بسیار زیادی نیاز دارد. برخی ملاحظات باید در نظر گرفته شود که عبارتند از:

• تکامل طرحواره: تضمین سازگاری بی عیب و نقص بین ویژگی تکامل طرحواره دریاچه دلتا و کوه یخ برای حفظ ثبات در طول تغییرات طرحواره.
• مهاجرت داده: استراتژی ها باید با عواملی مانند حجم داده ها، نیازهای زمان خرابی و سازگاری داده ها توسعه یافته و در جای خود قرار گیرند.
• سازگاری پرس و جو: باید در مورد سازگاری پرس و جو بین دریاچه دلتا و کوه یخ بررسی شود. این منجر به انتقال روان خواهد شد و عملکرد جستجوی موجود نیز پس از مهاجرت دست نخورده خواهد بود.
• عملکرد تست: برای بررسی عملکرد پرس و جو، تست های عملکرد و رگرسیون گسترده را آغاز کنید. استفاده از منابع نیز باید بین کوه یخ و دریاچه دلتا بررسی شود. به این ترتیب، مناطق بالقوه را می توان برای بهینه سازی تشخیص داد.

برای مهاجرت، توسعه دهندگان می توانند از اسکلت های کد از پیش تعریف شده از اسناد Iceberg و databricks استفاده کنند و همان را پیاده سازی کنند. مراحل زیر ذکر شده است و زبان مورد استفاده در اینجا Scala است:

مرحله 1: جدول دریاچه دلتا را ایجاد کنید

در مرحله اولیه، قبل از اقدام به ایجاد داده در آن، اطمینان حاصل کنید که سطل S3 خالی و تأیید شده است. پس از تکمیل فرآیند ایجاد داده، بررسی زیر را انجام دهید:

val data=spark.range(0,5)
data.write.format("delta").save("s3://testing_bucket/delta-table")

spark.read.format("delta").load("s3://testing_bucket/delta-table")

افزودن کد خلاء اختیاری

#adding optional code for vaccum later
val data=spark.range(5,10)
data.write.format("delta").mode("overwrite").save("s3://testing_bucket/delta-table")

مرحله 2: CTAS و خواندن جدول دریاچه دلتا

#reading delta lake table
spark.read.format("delta").load("s3://testing_bucket/delta-table")

مرحله 3: خواندن دریاچه دلتا و نوشتن در جدول کوه یخ

val df_delta=spark.read.format("delta").load("s3://testing_bucket/delta-table")
df_delta.writeTo("test.db.iceberg_ctas").create()
spark.read.format("iceberg").load("test.db.iceberg.ctas)

داده های ریخته شده به جداول کوه یخ زیر S3 را بررسی کنید

مقایسه ابزارهای شخص ثالث از نظر سادگی، عملکرد، سازگاری و پشتیبانی. دو ابزار یعنی. AWS Glue DataBrew and Snowflake با مجموعه ای از عملکردهای خاص خود ارائه می شود.

AWS Glue Data Brew

فرآیند مهاجرت:

• سهولت استفاده: AWS Glue DataBrew محصولی تحت ابر AWS است و تجربه ای کاربرپسند را برای انجام کارهای پاکسازی و تبدیل داده ها فراهم می کند.
• ادغام: Glue DataBrew می تواند به طور یکپارچه با سایر خدمات ابری آمازون ادغام شود. برای سازمان هایی که با AWS کار می کنند می توانند از این سرویس استفاده کنند.

مجموعه ویژگی ها:

• تبدیل داده ها: دارای مجموعه بزرگی از ویژگی ها برای تبدیل داده ها (EDA) است. می تواند در طول انتقال داده مفید باشد.
• پروفایل خودکار: مانند سایر ابزارهای منبع باز، DataBrew به طور خودکار داده های نمایه. برای تشخیص هر گونه ناسازگاری و همچنین توصیه وظایف تبدیل.

عملکرد و سازگاری:

• مقیاس پذیری: برای پردازش مجموعه داده های بزرگتر که می توان در طول فرآیند مهاجرت با آنها مواجه شد، Glue DataBrew مقیاس پذیری برای رسیدگی به آن را نیز فراهم می کند.
• سازگاری: سازگاری با مجموعه گسترده تری از فرمت ها و منابع داده را فراهم می کند، بنابراین یکپارچگی با راه حل های مختلف ذخیره سازی را تسهیل می کند.

دانه برف

فرآیند مهاجرت:

• سهولت مهاجرت: برای سادگی، Snowflake دارای خدمات مهاجرت است که به کاربران نهایی کمک می کند تا از انبارهای داده موجود به پلت فرم Snowflake حرکت کنند.
• مستندات جامع: Snowflake مستندات گسترده و مقدار زیادی منابع را برای شروع فرآیند مهاجرت ارائه می دهد.

مجموعه ویژگی ها:

• قابلیت های ذخیره سازی داده ها: مجموعه وسیع تری از ویژگی های انبارداری را فراهم می کند و از داده های نیمه ساختاریافته، به اشتراک گذاری داده ها و حاکمیت داده پشتیبانی می کند.
• هم زمان: معماری اجازه همزمانی بالا را می دهد که برای سازمان هایی با نیازهای پردازش داده ها مناسب است.

عملکرد و سازگاری:

• عملکرد: Snowflake همچنین از نظر مقیاس پذیری عملکرد کارآمد است که کاربران نهایی را قادر می سازد تا حجم عظیمی از داده ها را به راحتی پردازش کنند.
• سازگاری: Snowflake همچنین اتصالات مختلفی را برای منابع داده های مختلف فراهم می کند، بنابراین سازگاری متقابل با اکوسیستم های داده متنوع را تضمین می کند.

نتیجه

برای بهینه‌سازی جریان‌های کاری دریاچه داده و مدیریت انبار و استخراج نتایج کسب‌وکار، انتقال برای سازمان‌ها حیاتی است. صنایع می توانند از هر دو پلتفرم از نظر قابلیت ها و تفاوت های معماری و فنی استفاده کنند و تصمیم بگیرند که کدام یک را برای استفاده از حداکثر پتانسیل مجموعه داده های خود انتخاب کنند. در درازمدت نیز به سازمان ها کمک می کند. با تغییر سریع و پویا چشم‌انداز داده‌ها، راه‌حل‌های نوآورانه می‌توانند سازمان‌ها را در مسیر پیشرفت نگه دارند.

گیرنده های کلیدی

• Apache Iceberg ویژگی‌های خارق‌العاده‌ای مانند جداسازی عکس فوری، مدیریت کارآمد ابرداده، هرس پارتیشن ارائه می‌کند، بنابراین منجر به بهبود قابلیت‌های مدیریت دریاچه داده می‌شود.
• مهاجرت به کوه یخ آپاچی با برنامه ریزی و اجرای محتاطانه سروکار دارد. سازمان ها باید عواملی مانند تکامل طرحواره، استراتژی های انتقال داده ها و سازگاری پرس و جو را در نظر بگیرند.
• Databricks Delta Lake از ذخیره سازی ابری به عنوان لایه ذخیره سازی زیرین خود استفاده می کند و فایل های داده و گزارش تراکنش ها را ذخیره می کند، در حالی که Iceberg ابرداده ها را از فایل های داده جدا می کند و عملکرد و مقیاس پذیری را افزایش می دهد.
• سازمان‌ها همچنین باید پیامدهای مالی مانند هزینه‌های ذخیره‌سازی، هزینه‌های محاسباتی، هزینه‌های صدور مجوز و هر گونه منابع مورد نیاز برای مهاجرت را در نظر بگیرند.

پرسش و پاسخهای متداول

رسانه نشان داده شده در این مقاله متعلق به Analytics Vidhya نیست و به صلاحدید نویسنده استفاده می شود.

• محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
• PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
• PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
• PlatoESG. کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
• PlatoHealth. هوش بیوتکنولوژی و آزمایشات بالینی. دسترسی به اینجا.
• منبع: https://www.analyticsvidhya.com/blog/2024/03/guide-to-migrating-from-databricks-delta-lake-to-apache-iceberg/