Apache Airflow এর জন্য Amazon পরিচালিত ওয়ার্কফ্লো (Amazon MWAA) এর জন্য একটি পরিচালিত পরিষেবা৷ অ্যাপাচি এয়ারফ্লো যা ক্লাউডে ডেটা পাইপলাইন অর্কেস্ট্রেট করার জন্য অবকাঠামোর সেটআপ এবং অপারেশনকে স্ট্রীমলাইন করে। গ্রাহকরা তাদের Apache Airflow পরিবেশের পরিমাপযোগ্যতা, প্রাপ্যতা এবং নিরাপত্তা পরিচালনা করতে Amazon MWAA ব্যবহার করে। যেহেতু তারা আরও নিবিড়, জটিল, এবং ক্রমবর্ধমান ডেটা প্রসেসিং পাইপলাইনগুলি ডিজাইন করে, গ্রাহকরা তাদের কাজ এবং কর্মপ্রবাহের জন্য আরও বেশি সঙ্গতি এবং ক্ষমতা প্রদানের জন্য আমাদের কাছে অতিরিক্ত অন্তর্নিহিত সংস্থানগুলির জন্য অনুরোধ করেছেন৷

এটি মোকাবেলা করার জন্য, আজ আমরা Amazon MWAA-তে বৃহত্তর পরিবেশ ক্লাসের উপলব্ধতা ঘোষণা করছি। এই পোস্টে, আমরা এই নতুন XL এবং 2XL পরিবেশের ক্ষমতা, সেগুলির জন্য উপযুক্ত পরিস্থিতি এবং কীভাবে আপনি বর্ধিত সংস্থানগুলির সুবিধা নিতে আপনার বিদ্যমান Amazon MWAA পরিবেশকে সেট আপ বা আপগ্রেড করতে পারেন সেগুলি সম্পর্কে আলোচনা করি৷

বর্তমান চ্যালেঞ্জ

যখন আপনি একটি Amazon MWAA পরিবেশ তৈরি করেন, তখন একটি সেট পরিচালিত হয় অ্যামাজন ইলাস্টিক কনটেইনার পরিষেবা (Amazon ECS) সহ AWS Fargate কনটেইনারগুলি সংজ্ঞায়িত ভার্চুয়াল সিপিইউ এবং র‌্যামের সাথে সরবরাহ করা হয়।

আপনি যেমন বৃহত্তর, জটিল, সম্পদ-নিবিড় কাজের চাপ নিয়ে কাজ করেন বা হাজার হাজার চালান নির্দেশিত অ্যাসাইক্লিক গ্রাফ (DAGs) প্রতিদিন, আপনি সময়সূচী এবং কর্মীদের উপর CPU প্রাপ্যতা ক্লান্ত করা শুরু করতে পারেন, বা কর্মীদের মেমরির সীমাতে পৌঁছাতে পারেন। স্কেলে অ্যাপাচি এয়ারফ্লো চালানো এয়ারফ্লো মেটাডেটা ডাটাবেসের উপর আনুপাতিকভাবে বেশি লোড রাখে, কখনও কখনও অন্তর্নিহিত সিপিইউ এবং মেমরি সমস্যাগুলির দিকে পরিচালিত করে অ্যামাজন রিলেশনাল ডাটাবেস পরিষেবা (Amazon RDS) ক্লাস্টার। একটি রিসোর্স-অনাহারী মেটাডেটা ডাটাবেস আপনার কর্মীদের থেকে সংযোগ বাদ দিতে পারে, অসময়ে কাজগুলি ব্যর্থ করতে পারে।

আপনার কাজের কর্মক্ষমতা এবং স্থিতিস্থাপকতা উন্নত করতে, নিম্নলিখিত বিবেচনা করুন Apache Airflow সর্বোত্তম অনুশীলন লেখক DAGs. একটি বিকল্প হিসাবে, আপনি ওয়ার্কলোড বিতরণ করতে একাধিক Amazon MWAA পরিবেশ তৈরি করতে পারেন। যাইহোক, এর জন্য অতিরিক্ত প্রকৌশল এবং ব্যবস্থাপনা প্রচেষ্টা প্রয়োজন।

নতুন পরিবেশের ক্লাস

আজকের রিলিজের সাথে, আপনি এখন বিদ্যমান পরিবেশ ক্লাসের পাশাপাশি Amazon MWAA-তে XL এবং 2XL পরিবেশ তৈরি করতে পারেন। তাদের বর্তমান বৃহৎ অ্যামাজন MWAA এনভায়রনমেন্ট ক্লাসের কম্পিউটের দুই এবং চারগুণ এবং মেমরির যথাক্রমে তিন ও ছয় গুণ বেশি। এই দৃষ্টান্তগুলি সমস্ত Apache Airflow উপাদানগুলির ক্ষমতা এবং কার্যকারিতাকে সরাসরি উন্নত করতে রৈখিকভাবে গণনা এবং RAM যোগ করে। নিম্নলিখিত সারণী সারসংক্ষেপ পরিবেশ ক্ষমতা.

এই বৃহত্তর পরিবেশের প্রবর্তনের সাথে, আপনার Amazon Aurora মেটাডেটা ডাটাবেস এখন বৃহত্তর, মেমরি-অপ্টিমাইজ করা উদাহরণ ব্যবহার করবে AWS Graviton2. Graviton2 প্রসেসর পরিবারের সাথে, আপনি গণনা, সঞ্চয়স্থান এবং নেটওয়ার্কিং উন্নতি, এবং প্রসেসরের AWS পরিবার দ্বারা অফার করা আপনার কার্বন পদচিহ্নের হ্রাস পাবেন।

প্রাইসিং

Amazon MWAA মূল্যের মাত্রা অপরিবর্তিত রয়েছে এবং আপনি যা ব্যবহার করেন তার জন্যই আপনি অর্থ প্রদান করেন:

• পরিবেশ শ্রেণী
• অতিরিক্ত কর্মীর উদাহরণ
• অতিরিক্ত সময়সূচী উদাহরণ
• মেটাডেটা ডাটাবেস সঞ্চয়স্থান গ্রাস

আপনি এখন প্রথম তিনটি মাত্রায় দুটি অতিরিক্ত বিকল্প পাবেন: পরিবেশ শ্রেণীর জন্য XL এবং 2XL, অতিরিক্ত কর্মী এবং সময়সূচীর উদাহরণ। মেটাডেটা ডাটাবেস স্টোরেজ মূল্য একই রয়ে গেছে। নির্দেশ করে Apache Airflow প্রাইসিংয়ের জন্য Amazon পরিচালিত ওয়ার্কফ্লোস হার এবং আরো বিস্তারিত জানার জন্য।

বৃহত্তর পরিবেশে স্কেলিং পরিকল্পনা করতে Amazon MWAA কর্মক্ষমতা পর্যবেক্ষণ করুন

নতুন এনভায়রনমেন্ট ক্লাস ব্যবহার করা শুরু করার আগে, এটা বোঝা গুরুত্বপূর্ণ যে আপনি এমন একটি পরিস্থিতিতে আছেন যা ক্ষমতা সংক্রান্ত সমস্যাগুলির সাথে সম্পর্কিত, যেমন মেটাডেটা ডাটাবেস মেমরির বাইরে, বা উচ্চ CPU ব্যবহারে চলমান কর্মী বা সময়সূচী। আপনার পরিবেশের সংস্থানগুলির কার্যকারিতা বোঝা ক্ষমতা সম্পর্কিত সমস্যা সমাধানের মূল চাবিকাঠি। আমরা নির্দেশিকা অনুসরণ করার সুপারিশ অ্যামাজন MWAA পরিবেশের জন্য ধারক, ডাটাবেস এবং সারি ব্যবহারের মেট্রিক্স প্রবর্তন করা হচ্ছে Amazon MWAA পরিবেশের অবস্থা আরও ভালভাবে বুঝতে এবং আপনার দৃষ্টান্তগুলিকে সঠিক আকারের জন্য অন্তর্দৃষ্টি পেতে৷

নিম্নলিখিত পরীক্ষায়, আমরা একটি উচ্চ লোড দৃশ্যকল্প অনুকরণ করি, ব্যবহার করুন ক্লাউডওয়াচ পর্যবেক্ষণের মেট্রিক্স সাধারণ সমস্যাগুলি সনাক্ত করতে এবং সমস্যাগুলি প্রশমিত করার জন্য বৃহত্তর পরিবেশে স্কেলিং করার পরিকল্পনা করার জন্য একটি সচেতন সিদ্ধান্ত নিন।

আমাদের পরীক্ষার সময়, আমরা একটি জটিল DAG চালাই যা গতিশীলভাবে 500 টিরও বেশি টাস্ক তৈরি করে এবং একটি ভিন্ন DAG-তে একটি টাস্ক সম্পূর্ণ হওয়ার জন্য অপেক্ষা করার জন্য বাহ্যিক সেন্সর ব্যবহার করে। সর্বাধিক 10টি কর্মী নোড পর্যন্ত স্বয়ংক্রিয় স্কেলিং সেট আপ সহ একটি Amazon MWAA বৃহৎ পরিবেশ ক্লাসে চালানোর পরে, আমরা নিম্নলিখিত মেট্রিক্স এবং মানগুলি লক্ষ্য করেছি ক্লাউডওয়াচ ড্যাশবোর্ড.

কর্মী নোডগুলি সর্বাধিক সিপিইউ ক্ষমতায় পৌঁছেছে, যার ফলে সারিবদ্ধ কাজের সংখ্যা বৃদ্ধি পাচ্ছে। মেটাডেটা ডাটাবেস সিপিইউ ব্যবহার 65% এর বেশি ক্ষমতায় পৌঁছেছে এবং উপলব্ধ ডাটাবেস ফ্রি মেমরি হ্রাস করা হয়েছে। এই পরিস্থিতিতে, আমরা কর্মী নোডগুলিকে স্কেল করার জন্য আরও বাড়াতে পারি, তবে এটি মেটাডেটা ডাটাবেস CPU-তে অতিরিক্ত লোড রাখবে। এটি কর্মীর ডাটাবেস সংযোগের সংখ্যা এবং উপলব্ধ বিনামূল্যে ডাটাবেস মেমরির সংখ্যা হ্রাস করতে পারে।

নতুন এনভায়রনমেন্ট ক্লাসের সাহায্যে, আপনি উলম্বভাবে স্কেল করতে পারেন এনভায়রনমেন্ট এডিট করে এবং পরিবেশের একটি উচ্চ শ্রেণী নির্বাচন করে উপলভ্য রিসোর্স বাড়ানোর জন্য, যেমনটি নিচের স্ক্রিনশটে দেখানো হয়েছে।

পরিবেশের তালিকা থেকে, আমরা এই পরীক্ষার জন্য ব্যবহৃত একটি নির্বাচন করি। পছন্দ করা সম্পাদন করা নেভিগেট করতে উন্নত সেটিংস কনফিগার করুন পৃষ্ঠা, এবং প্রয়োজন অনুসারে উপযুক্ত xlarge বা 2xlarge পরিবেশ নির্বাচন করুন।

আপনি পরিবর্তন সংরক্ষণ করার পরে, পরিবেশ আপগ্রেড সম্পূর্ণ হতে 20-30 মিনিট সময় লাগবে। আপগ্রেডের সময় বাধাপ্রাপ্ত যেকোন চলমান DAG পুনরায় চেষ্টা করার জন্য নির্ধারিত হয়, আপনি আপনার DAG-এর জন্য পুনঃপ্রচারগুলি যেভাবে কনফিগার করেছেন তার উপর নির্ভর করে। আপনি এখন তাদের ম্যানুয়ালি আহ্বান করতে বা পরবর্তী নির্ধারিত রানের জন্য অপেক্ষা করতে পারেন।

আমরা এনভায়রনমেন্ট ক্লাস আপগ্রেড করার পরে, আমরা একই DAG পরীক্ষা করেছি এবং পর্যবেক্ষণ করেছি যে মেট্রিকগুলি উন্নত মান দেখাচ্ছে কারণ আরও সংস্থান এখন উপলব্ধ। এই XL পরিবেশের সাহায্যে, আপনি কম কর্মী নোডগুলিতে আরও কাজ চালাতে পারেন, এবং সেইজন্য সারিবদ্ধ কাজের সংখ্যা হ্রাস পেতে থাকে। বিকল্পভাবে, আপনার যদি আরও বেশি মেমরি এবং/অথবা CPU-এর প্রয়োজন হয় এমন টাস্ক থাকে, তাহলে আপনি কর্মী পিছু কাজ কমাতে পারেন, কিন্তু তারপরও বৃহত্তর এনভায়রনমেন্ট সাইজ সহ কর্মী প্রতি উচ্চ সংখ্যক কাজ অর্জন করতে পারেন। উদাহরণস্বরূপ, যদি আপনার একটি বড় পরিবেশ থাকে যেখানে কর্মী নোড সিপিইউ এর সাথে সর্বাধিক হয় celery.worker_autoscale (এয়ারফ্লো কনফিগারেশন যা কর্মী প্রতি কাজের সংখ্যা নির্ধারণ করে) 20,20 এ সেট করুন, আপনি একটি XL পরিবেশে বৃদ্ধি করতে পারেন এবং সেট করতে পারেন celery.worker_autoscale XL-এ 20,20 পর্যন্ত, একটি XL পরিবেশে প্রতি কর্মী প্রতি ডিফল্ট 40টি টাস্কের পরিবর্তে এবং CPU লোড উল্লেখযোগ্যভাবে হ্রাস করা উচিত।

Amazon MWAA-তে একটি নতুন XL পরিবেশ সেট আপ করুন

আপনি আমাজন MWAA দিয়ে শুরু করুন আপনার অ্যাকাউন্টে এবং পছন্দের AWS অঞ্চল ব্যবহার করে এডাব্লুএস ম্যানেজমেন্ট কনসোল, API, বা এডাব্লুএস কমান্ড লাইন ইন্টারফেস (AWS CLI)। আপনি যদি কোড (IaC) হিসাবে অবকাঠামো গ্রহণ করেন, আপনি ব্যবহার করে সেটআপ স্বয়ংক্রিয় করতে পারেন এডাব্লুএস ক্লাউডফর্মেশন, দ্য এডাব্লুএস ক্লাউড ডেভেলপমেন্ট কিট (AWS CDK), বা Terraform স্ক্রিপ্ট।

Amazon MWAA XL এবং 2XL এনভায়রনমেন্ট ক্লাসগুলি বর্তমানে সমস্ত অঞ্চলে উপলব্ধ রয়েছে যেখানে Amazon MWAA বর্তমানে উপলব্ধ।

উপসংহার

আজ, আমরা Amazon MWAA-তে দুটি নতুন পরিবেশ ক্লাসের উপলব্ধতা ঘোষণা করছি। XL এবং 2XL এনভায়রনমেন্ট ক্লাসের সাথে, আপনি জটিল বা রিসোর্স-ইনটেনসিভ ওয়ার্কফ্লোগুলির বৃহত্তর ভলিউম অর্কেস্ট্রেট করতে পারেন। আপনি যদি প্রচুর পরিমাণে নির্ভরশীলতার সাথে DAGs চালাচ্ছেন, একাধিক পরিবেশে হাজার হাজার DAG চালাচ্ছেন, বা এমন একটি পরিস্থিতিতে যেখানে আপনাকে গণনার জন্য কর্মীদের ব্যাপকভাবে ব্যবহার করতে হবে, আপনি এখন আপনার পরিবেশের সংস্থানগুলিকে কয়েকটিতে বাড়িয়ে সংশ্লিষ্ট ক্ষমতা সমস্যাগুলি কাটিয়ে উঠতে পারেন। সোজা পদক্ষেপ।

এই পোস্টে, আমরা দুটি নতুন পরিবেশ শ্রেণীর ক্ষমতা নিয়ে আলোচনা করেছি, যার মধ্যে মূল্য নির্ধারণ এবং কিছু সাধারণ সম্পদের সীমাবদ্ধতা সমস্যা রয়েছে যা তারা সমাধান করে। XL বা 2XL-এ স্কেলিং করার পরিকল্পনা করার জন্য আমরা কীভাবে আপনার বিদ্যমান পরিবেশগুলি পর্যবেক্ষণ করতে হয় তার একটি নির্দেশিকা এবং একটি উদাহরণ প্রদান করেছি এবং আমরা বর্ণনা করেছি যে আপনি কীভাবে বর্ধিত সংস্থানগুলি ব্যবহার করতে বিদ্যমান পরিবেশগুলি আপগ্রেড করতে পারেন।

Amazon MWAA-তে অতিরিক্ত বিবরণ এবং কোড উদাহরণের জন্য, দেখুন আমাজন MWAA ব্যবহারকারীর নির্দেশিকা এবং Amazon MWAA উদাহরণ GitHub রেপো.

Apache, Apache Airflow, এবং Airflow হয় নিবন্ধিত ট্রেডমার্ক বা ট্রেডমার্ক অ্যাপাচি সফটওয়্যার ফাউন্ডেশন মার্কিন যুক্তরাষ্ট্র এবং/অথবা অন্যান্য দেশে।

লেখক সম্পর্কে

হার্নান গার্সিয়া নেদারল্যান্ডে অবস্থিত AWS-এর একজন সিনিয়র সলিউশন আর্কিটেক্ট। তিনি আর্থিক পরিষেবা শিল্পে কাজ করেন, এন্টারপ্রাইজগুলিকে তাদের ক্লাউড গ্রহণে সহায়তা করেন। তিনি সার্ভারহীন প্রযুক্তি, নিরাপত্তা এবং সম্মতি সম্পর্কে উত্সাহী। তিনি পরিবার এবং বন্ধুদের সাথে সময় কাটাতে এবং বিভিন্ন রান্নার নতুন খাবার চেষ্টা করে উপভোগ করেন।

জিতেন্দ্র বৈদ্য তিনি AWS-এর একজন সিনিয়র সলিউশন আর্কিটেক্ট, যিনি তার দক্ষতাকে AI/ML, সার্ভারহীন, এবং ডেটা অ্যানালিটিক্স ডোমেনে নিয়ে এসেছেন। তিনি নিরাপদ, মাপযোগ্য, নির্ভরযোগ্য এবং সাশ্রয়ী সমাধানের স্থাপত্যে গ্রাহকদের সহায়তা করার বিষয়ে উত্সাহী।

শ্রীহর্ষ আদরি AWS-এর একজন সিনিয়র সলিউশন আর্কিটেক্ট, যেখানে তিনি গ্রাহকদের AWS-এ উদ্ভাবনী সমাধান তৈরি করতে ব্যবসার ফলাফল থেকে পিছিয়ে যেতে সাহায্য করেন। বছরের পর বছর ধরে, তিনি ইন্ডাস্ট্রির উল্লম্ব জুড়ে ডেটা প্ল্যাটফর্মের রূপান্তরে একাধিক গ্রাহকদের সহায়তা করেছেন। তার দক্ষতার মূল ক্ষেত্র প্রযুক্তি কৌশল, ডেটা বিশ্লেষণ এবং ডেটা বিজ্ঞান অন্তর্ভুক্ত। অবসর সময়ে, তিনি খেলাধুলা, টিভি শো দেখা এবং তবলা বাজানো উপভোগ করেন।

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
• প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
• প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
• উত্স: https://aws.amazon.com/blogs/big-data/introducing-amazon-mwaa-larger-environment-sizes/