In ഭാഗം 2 ഈ പരമ്പരയിൽ, എങ്ങനെ പ്രവർത്തനക്ഷമമാക്കാമെന്ന് ഞങ്ങൾ ചർച്ച ചെയ്തു AWS പശ തൊഴിൽ നിരീക്ഷണ അളവുകോലുകളും തത്സമയ നിരീക്ഷണത്തിനായി ഗ്രാഫാനയുമായി സംയോജിപ്പിക്കുക. പൈപ്പ്‌ലൈൻ ആരോഗ്യം കാണുന്നതിന് ഗ്രാഫാന ശക്തമായ ഇഷ്‌ടാനുസൃതമാക്കാവുന്ന ഡാഷ്‌ബോർഡുകൾ നൽകുന്നു. എന്നിരുന്നാലും, കാലാകാലങ്ങളിൽ ട്രെൻഡുകൾ വിശകലനം ചെയ്യുന്നതിനും വിവിധ തലങ്ങളിൽ നിന്ന് സംഗ്രഹിക്കുന്നതിനും സ്ഥാപനത്തിലുടനീളം സ്ഥിതിവിവരക്കണക്കുകൾ പങ്കിടുന്നതിനും, ഒരു ഉദ്ദേശ്യത്തോടെ നിർമ്മിച്ച ബിസിനസ് ഇൻ്റലിജൻസ് (BI) ടൂൾ ആമസോൺ ക്വിക്ക്സൈറ്റ് നിങ്ങളുടെ ബിസിനസ്സിന് കൂടുതൽ ഫലപ്രദമായേക്കാം. ഇൻ്ററാക്ടീവ് ഡാഷ്‌ബോർഡുകളിലും റിപ്പോർട്ടുകളിലും ഡാറ്റ ദൃശ്യവൽക്കരിക്കുന്നത് ബിസിനസ്സ് ഉപയോക്താക്കൾക്ക് ക്വിക്ക്‌സൈറ്റ് ലളിതമാക്കുന്നു.

ഈ പോസ്റ്റിൽ, QuickSight എങ്ങനെ ബന്ധിപ്പിക്കാമെന്ന് ഞങ്ങൾ പര്യവേക്ഷണം ചെയ്യുന്നു ആമസോൺ ക്ലൗഡ് വാച്ച് AWS ഗ്ലൂ ജോബ് ഒബ്സർബിലിറ്റി മെട്രിക്സിലെ ട്രെൻഡുകൾ കണ്ടെത്തുന്നതിന് മെട്രിക്സും ബിൽഡ് ഗ്രാഫുകളും. ചരിത്രപരമായ പാറ്റേണുകൾ വിശകലനം ചെയ്യുന്നത് പ്രകടനം ഒപ്റ്റിമൈസ് ചെയ്യാനും പ്രശ്നങ്ങൾ മുൻകൂട്ടി തിരിച്ചറിയാനും ആസൂത്രണം മെച്ചപ്പെടുത്താനും നിങ്ങളെ അനുവദിക്കുന്നു. ഒരു CloudWatch മെട്രിക് സ്ട്രീമും QuickSight SPICE ഉം ഉപയോഗിച്ച് ഞങ്ങൾ QuickSight-ലേക്ക് CloudWatch മെട്രിക്കുകൾ ഉൾക്കൊള്ളുന്നു. ഈ സംയോജനത്തിലൂടെ, ദൈനംദിന, പ്രതിവാര, പ്രതിമാസ പാറ്റേണുകൾ കണ്ടെത്തുന്നതിന് നിങ്ങൾക്ക് ലൈൻ ചാർട്ടുകൾ, ബാർ ചാർട്ടുകൾ, മറ്റ് ഗ്രാഫ് തരങ്ങൾ എന്നിവ ഉപയോഗിക്കാം. ആഴത്തിലുള്ള വിശകലനത്തിനായി മെട്രിക്കുകളിൽ മൊത്തത്തിലുള്ള കണക്കുകൂട്ടലുകൾ നടത്താൻ QuickSight നിങ്ങളെ അനുവദിക്കുന്നു. ജോലിയുടെ പേര്, അപാകതകൾ കാണുക, നിങ്ങളുടെ സ്ഥാപനത്തിലുടനീളം റിപ്പോർട്ടുകൾ സുരക്ഷിതമായി പങ്കിടുക എന്നിങ്ങനെ വ്യത്യസ്ത അളവുകൾ ഉപയോഗിച്ച് നിങ്ങൾക്ക് ഡാറ്റ സ്ലൈസ് ചെയ്യാം. ഈ സ്ഥിതിവിവരക്കണക്കുകൾ ഉപയോഗിച്ച്, ഡാറ്റാ സംയോജന പൈപ്പ്ലൈനുകൾ കൂടുതൽ കാര്യക്ഷമമാക്കാൻ ടീമുകൾക്ക് ദൃശ്യപരതയുണ്ട്.

പരിഹാര അവലോകനം

ഇനിപ്പറയുന്ന ആർക്കിടെക്ചർ ഡയഗ്രം പരിഹാരം നടപ്പിലാക്കുന്നതിനുള്ള വർക്ക്ഫ്ലോ ചിത്രീകരിക്കുന്നു.

വർക്ക്ഫ്ലോയിൽ ഇനിപ്പറയുന്ന ഘട്ടങ്ങൾ ഉൾപ്പെടുന്നു:

1. AWS ഗ്ലൂ ജോലികൾ CloudWatch മെട്രിക്കുകളിലേക്ക് നിരീക്ഷണ അളവുകൾ പുറപ്പെടുവിക്കുന്നു.
2. CloudWatch ഒരു മെട്രിക് സ്ട്രീം വഴി മെട്രിക് ഡാറ്റ സ്ട്രീം ചെയ്യുന്നു ആമസോൺ ഡാറ്റ ഫയർഹോസ്.
3. ഡാറ്റ ഫയർഹോസ് ഒരു ഉപയോഗിക്കുന്നു AWS Lambda ഡാറ്റ രൂപാന്തരപ്പെടുത്തുന്നതിനും രൂപാന്തരപ്പെട്ട രേഖകൾ ഒരു ആക്കി മാറ്റുന്നതിനുമുള്ള പ്രവർത്തനം ആമസോൺ ലളിതമായ സംഭരണ ​​സേവനം (Amazon S3) ബക്കറ്റ്.
4. ഒരു AWS ഗ്ലൂ ക്രാളർ S3 ബക്കറ്റിലെ ഡാറ്റ സ്കാൻ ചെയ്യുകയും AWS ഗ്ലൂ ഡാറ്റ കാറ്റലോഗിൽ ടേബിൾ മെറ്റാഡാറ്റ പോപ്പുലേറ്റ് ചെയ്യുകയും ചെയ്യുന്നു.
5. QuickSight ആനുകാലികമായി പ്രവർത്തിക്കുന്നു ആമസോൺ അഥീന അന്വേഷണ ഫലങ്ങൾ SPICE-ലേക്ക് ലോഡുചെയ്യുന്നതിനും ഏറ്റവും പുതിയ മെട്രിക് ഡാറ്റ ദൃശ്യവൽക്കരിക്കുന്നതിനുമുള്ള അന്വേഷണങ്ങൾ.

എല്ലാ വിഭവങ്ങളും ഒരു സാമ്പിളിൽ നിർവചിച്ചിരിക്കുന്നു AWS ക്ലൗഡ് ഡെവലപ്‌മെന്റ് കിറ്റ് (AWS CDK) ടെംപ്ലേറ്റ്. ഒബ്സർബിലിറ്റി മെട്രിക്സിൻ്റെ ട്രെൻഡുകൾ ദൃശ്യവൽക്കരിക്കുന്നതിനും വിശകലനം ചെയ്യുന്നതിനും നിങ്ങൾക്ക് എൻഡ്-ടു-എൻഡ് സൊല്യൂഷൻ വിന്യസിക്കാം.

സാമ്പിൾ AWS CDK ടെംപ്ലേറ്റ്

ഈ പോസ്റ്റ് AWS ഗ്ലൂ ഒബ്സർവബിലിറ്റി മെട്രിക്‌സ് ഉപയോഗിച്ച് ഒരു ഡാഷ്‌ബോർഡിനായി ഒരു സാമ്പിൾ AWS CDK ടെംപ്ലേറ്റ് നൽകുന്നു.

സാധാരണഗതിയിൽ, നിങ്ങളുടെ ഡാറ്റാ പൈപ്പ്‌ലൈനിനായി ഉറവിടങ്ങൾ നിയന്ത്രിക്കാനും പ്രവർത്തിപ്പിക്കാനും നിങ്ങൾക്ക് ഒന്നിലധികം അക്കൗണ്ടുകൾ ഉണ്ട്.

ഈ ടെംപ്ലേറ്റിൽ, ഞങ്ങൾ ഇനിപ്പറയുന്ന അക്കൗണ്ടുകൾ അനുമാനിക്കുന്നു:

• മോണിറ്ററിംഗ് അക്കൗണ്ട് - ഇത് സെൻട്രൽ S3 ബക്കറ്റ്, സെൻട്രൽ ഡാറ്റ കാറ്റലോഗ്, ക്വിക്ക്‌സൈറ്റ് സംബന്ധിയായ ഉറവിടങ്ങൾ എന്നിവ ഹോസ്റ്റ് ചെയ്യുന്നു
• ഉറവിട അക്കൗണ്ട് - ഇത് AWS ഗ്ലൂയിലെ വ്യക്തിഗത ഡാറ്റ പൈപ്പ്‌ലൈൻ ഉറവിടങ്ങളും മോണിറ്ററിംഗ് അക്കൗണ്ടിലേക്ക് മെട്രിക്‌സ് അയയ്‌ക്കുന്നതിനുള്ള ഉറവിടങ്ങളും ഹോസ്റ്റുചെയ്യുന്നു.

മോണിറ്ററിംഗ് അക്കൌണ്ടും സോഴ്സ് അക്കൌണ്ടും ഒരുപോലെ ആയിരിക്കുമ്പോൾ പോലും ടെംപ്ലേറ്റ് പ്രവർത്തിക്കുന്നു.

ഈ മാതൃകാ ടെംപ്ലേറ്റിൽ നാല് സ്റ്റാക്കുകൾ അടങ്ങിയിരിക്കുന്നു:

• ആമസോൺ എസ് 3 സ്റ്റാക്ക് - ഇത് S3 ബക്കറ്റ് നൽകുന്നു
• ഡാറ്റ കാറ്റലോഗ് സ്റ്റാക്ക് - ഇത് AWS ഗ്ലൂ ഡാറ്റാബേസ്, ടേബിൾ, ക്രാളർ എന്നിവ ലഭ്യമാക്കുന്നു
• QuickSight സ്റ്റാക്ക് – ഇത് QuickSight ഡാറ്റ ഉറവിടം, ഡാറ്റാസെറ്റ്, വിശകലനം എന്നിവ നൽകുന്നു
• മെട്രിക്‌സ് അയച്ചയാളുടെ ശേഖരം - ഇത് പരിവർത്തനത്തിനായി ക്ലൗഡ് വാച്ച് മെട്രിക് സ്ട്രീം, ഫയർഹോസ് ഡെലിവറി സ്ട്രീം, ലാംഡ ഫംഗ്ഷൻ എന്നിവ നൽകുന്നു

മുൻവ്യവസ്ഥകൾ

നിങ്ങൾക്ക് ഇനിപ്പറയുന്ന മുൻവ്യവസ്ഥകൾ ഉണ്ടായിരിക്കണം:

• പൈത്തൺ 3.9 അല്ലെങ്കിൽ അതിനുശേഷമുള്ളത്
• മോണിറ്ററിംഗ് അക്കൗണ്ടിനും സോഴ്‌സ് അക്കൗണ്ടിനുമായി AWS അക്കൗണ്ടുകൾ
• An AWS എന്ന് പേരിട്ടിരിക്കുന്ന പ്രൊഫൈൽ മോണിറ്ററിംഗ് അക്കൗണ്ടിനും ഉറവിട അക്കൗണ്ടിനും
• ദി AWS CDK ടൂൾകിറ്റ് 2.87.0 അല്ലെങ്കിൽ അതിനുശേഷമുള്ള

CDK പദ്ധതി ആരംഭിക്കുക

പ്രോജക്റ്റ് ആരംഭിക്കുന്നതിന്, ഇനിപ്പറയുന്ന ഘട്ടങ്ങൾ പൂർത്തിയാക്കുക:

1. ക്ലോൺ ചെയ്യുക cdk ടെംപ്ലേറ്റ് നിങ്ങളുടെ ജോലിസ്ഥലത്തേക്ക്:

   $ git clone git@github.com:aws-samples/aws-glue-cdk-baseline.git 
   
   $ cd aws-glue-cdk-baseline.git

2. ഒരു പൈത്തൺ സൃഷ്ടിക്കുക വെർച്വൽ പരിസ്ഥിതി ക്ലയന്റ് മെഷീനിലെ പ്രോജക്റ്റിന് പ്രത്യേകം:

   $ python3 -m venv .venv

ഈ പ്രോജക്റ്റിനായി പൈത്തൺ എൻവയോൺമെന്റ് ഒറ്റപ്പെടുത്താനും ആഗോളതലത്തിൽ സോഫ്റ്റ്‌വെയർ ഇൻസ്റ്റാൾ ചെയ്യാതിരിക്കാനും ഞങ്ങൾ ഒരു വെർച്വൽ എൻവയോൺമെന്റ് ഉപയോഗിക്കുന്നു.

3. നിങ്ങളുടെ OS അനുസരിച്ച് വെർച്വൽ എൻവയോൺമെന്റ് സജീവമാക്കുക:
   • MacOS-ലും Linux-ലും, ഇനിപ്പറയുന്ന കോഡ് ഉപയോഗിക്കുക:

     $ source .venv/bin/activate

   • ഒരു വിൻഡോസ് പ്ലാറ്റ്‌ഫോമിൽ, ഇനിപ്പറയുന്ന കോഡ് ഉപയോഗിക്കുക:

     % .venvScriptsactivate.bat

ഈ ഘട്ടത്തിന് ശേഷം, തുടർന്നുള്ള ഘട്ടങ്ങൾ ക്ലയന്റ് മെഷീനിലെ വെർച്വൽ എൻവയോൺമെന്റിന്റെ പരിധിക്കുള്ളിൽ പ്രവർത്തിക്കുകയും ആവശ്യാനുസരണം AWS അക്കൗണ്ടുമായി സംവദിക്കുകയും ചെയ്യുന്നു.

4. വിവരിച്ചിരിക്കുന്ന ആവശ്യമായ ഡിപൻഡൻസികൾ ഇൻസ്റ്റാൾ ചെയ്യുക ആവശ്യകതകൾ. txt വെർച്വൽ പരിതസ്ഥിതിയിലേക്ക്:

   $ pip install -r requirements.txt

5. കോൺഫിഗറേഷൻ ഫയൽ എഡിറ്റ് ചെയ്യുക default-config.yaml നിങ്ങളുടെ പരിതസ്ഥിതികളെ അടിസ്ഥാനമാക്കി (ഓരോ അക്കൗണ്ട് ഐഡിയും നിങ്ങളുടേത് ഉപയോഗിച്ച് മാറ്റിസ്ഥാപിക്കുക.

   create_s3_stack: false
   create_metrics_sender_stack: false
   create_catalog_stack: false
   create_quicksight_stack: true
   
   s3_bucket_name: glue-observability-demo-dashboard
   
   firehose_log_group_name: /aws/kinesisfirehose/observability-demo-metric-stream
   firehose_lambda_buffer_size_mb: 2
   firehose_lambda_buffer_interval_seconds: 60
   firehose_s3_buffer_size_mb: 128
   firehose_s3_buffer_interval_seconds: 300
   
   glue_database_name: observability_demo_db
   glue_table_name: metric_data
   glue_crawler_name: observability_demo_crawler
   glue_crawler_cron_schedule: "cron(42 * * * ? *)"
   
   athena_workgroup_name: primary

നിങ്ങളുടെ AWS പരിതസ്ഥിതികൾ ബൂട്ട്സ്ട്രാപ്പ് ചെയ്യുക

നിങ്ങളുടെ AWS പരിതസ്ഥിതികൾ ബൂട്ട്സ്ട്രാപ്പ് ചെയ്യുന്നതിന് ഇനിപ്പറയുന്ന കമാൻഡുകൾ പ്രവർത്തിപ്പിക്കുക:

1. മോണിറ്ററിംഗ് അക്കൗണ്ടിൽ, നിങ്ങളുടെ മോണിറ്ററിംഗ് അക്കൗണ്ട് നമ്പർ, AWS മേഖല, മോണിറ്ററിംഗ് പ്രൊഫൈൽ എന്നിവ നൽകുക:

   $ cdk bootstrap aws://<MONITORING-ACCOUNT-NUMBER>/<REGION> --profile <MONITORING-PROFILE> 
   --cloudformation-execution-policies arn:aws:iam::aws:policy/AdministratorAccess

2. ഉറവിട അക്കൗണ്ടിൽ, നിങ്ങളുടെ ഉറവിട അക്കൗണ്ട് നമ്പർ, പ്രദേശം, ഉറവിട പ്രൊഫൈൽ:x എന്നിവ നൽകുക

   $ cdk bootstrap aws://<SOURCE-ACCOUNT-NUMBER>/<REGION> --profile <SOURCE-PROFILE> 
   --cloudformation-execution-policies arn:aws:iam::aws:policy/AdministratorAccess

എല്ലാ പരിതസ്ഥിതികൾക്കും നിങ്ങൾ ഒരു അക്കൗണ്ട് മാത്രം ഉപയോഗിക്കുമ്പോൾ, നിങ്ങൾക്ക് പ്രവർത്തിപ്പിക്കാൻ കഴിയുംcdk bootstrapഒരിക്കൽ ആജ്ഞാപിക്കുക.

നിങ്ങളുടെ AWS ഉറവിടങ്ങൾ വിന്യസിക്കുക

നിങ്ങളുടെ AWS ഉറവിടങ്ങൾ വിന്യസിക്കാൻ ഇനിപ്പറയുന്ന കമാൻഡുകൾ പ്രവർത്തിപ്പിക്കുക:

1. AWS CDK ടെംപ്ലേറ്റിൽ നിർവചിച്ചിരിക്കുന്ന ഉറവിടങ്ങൾ വിന്യസിക്കാൻ മോണിറ്ററിംഗ് അക്കൗണ്ട് ഉപയോഗിച്ച് ഇനിപ്പറയുന്ന കമാൻഡ് പ്രവർത്തിപ്പിക്കുക:

   $ cdk deploy '*' --profile <MONITORING-PROFILE>

2. AWS CDK ടെംപ്ലേറ്റിൽ നിർവചിച്ചിരിക്കുന്ന ഉറവിടങ്ങൾ വിന്യസിക്കാൻ ഉറവിട അക്കൗണ്ട് ഉപയോഗിച്ച് ഇനിപ്പറയുന്ന കമാൻഡ് പ്രവർത്തിപ്പിക്കുക:

   $ cdk deploy MetricSenderStack --profile <SOURCE-PROFILE>

QuickSight അനുമതികൾ കോൺഫിഗർ ചെയ്യുക

തുടക്കത്തിൽ, AWS CDK ടെംപ്ലേറ്റ് സൃഷ്ടിച്ച ഡാറ്റാസെറ്റും വിശകലനവും ഉൾപ്പെടെയുള്ള പുതിയ QuickSight ഉറവിടങ്ങൾ നിങ്ങൾക്ക് ദൃശ്യമാകില്ല, കാരണം QuickSight അനുമതികളൊന്നും ഇതുവരെ കോൺഫിഗർ ചെയ്തിട്ടില്ല.

ഡാറ്റാസെറ്റും വിശകലനവും നിങ്ങൾക്ക് ദൃശ്യമാക്കുന്നതിന്, ഇനിപ്പറയുന്ന ഘട്ടങ്ങൾ പൂർത്തിയാക്കുക:

1. QuickSight കൺസോളിൽ, ഉപയോക്തൃ മെനുവിലേക്ക് നാവിഗേറ്റ് ചെയ്ത് തിരഞ്ഞെടുക്കുക QuickSight നിയന്ത്രിക്കുക.
2. നാവിഗേഷൻ പാളിയിൽ, തിരഞ്ഞെടുക്കുക അസറ്റുകൾ കൈകാര്യം ചെയ്യുക.
3. കീഴെ അസറ്റുകൾ ബ്രൗസ് ചെയ്യുക, തിരഞ്ഞെടുക്കുക വിശകലനം.
4. GlueObservability Analysis എന്നതിനായി തിരയുക, അത് തിരഞ്ഞെടുക്കുക.
5. തിരഞ്ഞെടുക്കുക പങ്കി.
6. വേണ്ടി ഉപയോക്താവ് അല്ലെങ്കിൽ ഗ്രൂപ്പ്, നിങ്ങളുടെ ഉപയോക്താവിനെ തിരഞ്ഞെടുക്കുക, തുടർന്ന് തിരഞ്ഞെടുക്കുക ഷെയർ ചെയ്യുക (1).
7. പങ്കിടൽ പൂർത്തിയാകുന്നതുവരെ കാത്തിരിക്കുക, തുടർന്ന് തിരഞ്ഞെടുക്കുക ചെയ്‌തു.
8. ഓൺ അസറ്റുകൾ കൈകാര്യം ചെയ്യുക പേജ്, തിരഞ്ഞെടുക്കുക ഡാറ്റാസെറ്റുകൾ.
9. observability_demo.metrics_data എന്നതിനായി തിരയുക, അത് തിരഞ്ഞെടുക്കുക.
10. തിരഞ്ഞെടുക്കുക പങ്കി.
11. വേണ്ടി ഉപയോക്താവ് അല്ലെങ്കിൽ ഗ്രൂപ്പ്, നിങ്ങളുടെ ഉപയോക്താവിനെ തിരഞ്ഞെടുക്കുക, തുടർന്ന് തിരഞ്ഞെടുക്കുക ഷെയർ ചെയ്യുക (1).
12. പങ്കിടൽ പൂർത്തിയാകുന്നതുവരെ കാത്തിരിക്കുക, തുടർന്ന് തിരഞ്ഞെടുക്കുക ചെയ്‌തു.

സ്ഥിരസ്ഥിതി QuickSight വിശകലനം പര്യവേക്ഷണം ചെയ്യുക

ഇപ്പോൾ നിങ്ങളുടെ QuickSight വിശകലനവും ഡാറ്റാസെറ്റും നിങ്ങൾക്ക് ദൃശ്യമാണ്. നിങ്ങൾക്ക് ക്വിക്ക്‌സൈറ്റ് കൺസോളിലേക്ക് മടങ്ങുകയും ഗ്ലൂഓബ്സർവബിലിറ്റി അനാലിസിസ് തിരഞ്ഞെടുക്കുകയും ചെയ്യാം വിശകലനം. ഇനിപ്പറയുന്ന സ്ക്രീൻഷോട്ട് നിങ്ങളുടെ ഡാഷ്ബോർഡ് കാണിക്കുന്നു.

സാമ്പിൾ വിശകലനത്തിന് രണ്ട് ടാബുകൾ ഉണ്ട്: മോണിറ്ററിംഗ് ഒപ്പം സ്ഥിതിവിവരക്കണക്കുകൾ. സ്ഥിരസ്ഥിതിയായി ,. മോണിറ്ററിംഗ് ടാബിന് ഇനിപ്പറയുന്ന ചാർട്ടുകൾ ഉണ്ട്:

• [വിശ്വാസ്യത] ജോബ് റൺ പിശകുകളുടെ തകർച്ച
• [വിശ്വാസ്യത] ജോബ് റൺ പിശകുകൾ (ആകെ)
• [പ്രകടനം] സ്കെവ്നെസ് ജോലി
• [പ്രകടനം] ഓരോ ജോലിക്കും സ്ക്യൂനസ് ജോലി

• [വിഭവ വിനിയോഗം] തൊഴിലാളി വിനിയോഗം
• [വിഭവ വിനിയോഗം] ഓരോ ജോലിക്കും തൊഴിലാളി വിനിയോഗം
• [ത്രൂപുട്ട്] ബൈറ്റ്സ് റീഡ്, റെക്കോർഡ്സ് റീഡ്, ഫയലുകൾ റീഡ്, പാർട്ടീഷൻ റീഡ് (ശരാശരി)
• [ത്രൂപുട്ട്] ബൈറ്റുകൾ എഴുതിയത്, റെക്കോർഡുകൾ എഴുതിയത്, ഫയലുകൾ എഴുതിയത് (ശരാശരി)

• [റിസോഴ്സ് യൂട്ടിലൈസേഷൻ ഡിസ്ക് ലഭ്യമാണ് GB (മിനിറ്റ്)
• [വിഭവ വിനിയോഗം പരമാവധി ഡിസ്ക് ഉപയോഗിച്ചു % (പരമാവധി)

• [ഡ്രൈവർ OOM] OOM പിശക് എണ്ണം
• [ഡ്രൈവർ OOM] പരമാവധി ഹീപ്പ് മെമ്മറി ഉപയോഗിച്ചു % (പരമാവധി)
• [എക്സിക്യൂട്ടർ OOM] OOM പിശക് എണ്ണം
• [എക്സിക്യൂട്ടർ OOM] പരമാവധി ഹീപ്പ് മെമ്മറി ഉപയോഗിച്ചു (പരമാവധി)

സ്ഥിരസ്ഥിതിയായി ,. സ്ഥിതിവിവരക്കണക്കുകൾ ടാബിന് ഇനിപ്പറയുന്ന സ്ഥിതിവിവരക്കണക്കുകൾ ഉണ്ട്:

• താഴെ റാങ്കുള്ള തൊഴിലാളി വിനിയോഗം
• ഉയർന്ന റാങ്കുള്ള സ്‌ക്യൂനെസ് ജോലി

• പ്രവചന തൊഴിലാളി വിനിയോഗം
• ടോപ്പ് മൂവർ റീഡ്ബൈറ്റുകൾ

നിങ്ങളുടെ ആവശ്യകതകളെ അടിസ്ഥാനമാക്കിയുള്ള നിരീക്ഷണ മെട്രിക്‌സ് ഉപയോഗിച്ച് നിങ്ങൾക്ക് പുതിയ ഗ്രാഫ് ചാർട്ടുകളോ സ്ഥിതിവിവരക്കണക്കുകളോ ചേർക്കാനാകും.

QuickSight ഡാഷ്‌ബോർഡ് പ്രസിദ്ധീകരിക്കുക

വിശകലനം തയ്യാറാകുമ്പോൾ, ഡാഷ്‌ബോർഡ് പ്രസിദ്ധീകരിക്കുന്നതിന് ഇനിപ്പറയുന്ന ഘട്ടങ്ങൾ പൂർത്തിയാക്കുക:

1. തിരഞ്ഞെടുക്കുക പ്രസിദ്ധീകരിക്കുക.
2. തെരഞ്ഞെടുക്കുക പുതിയ ഡാഷ്‌ബോർഡ് ഇതായി പ്രസിദ്ധീകരിക്കുക, നൽകുക GlueObservabilityDashboard.
3. തിരഞ്ഞെടുക്കുക ഡാഷ്‌ബോർഡ് പ്രസിദ്ധീകരിക്കുക.

അപ്പോൾ നിങ്ങൾക്ക് ഡാഷ്ബോർഡ് കാണാനും പങ്കിടാനും കഴിയും.

AWS ഗ്ലൂ ജോബ് ഒബ്സർബിലിറ്റി മെട്രിക്‌സ് ഉപയോഗിച്ച് ദൃശ്യവൽക്കരിക്കുകയും വിശകലനം ചെയ്യുകയും ചെയ്യുക

AWS ഗ്ലൂ ഉപയോഗം കൂടുതൽ കാര്യക്ഷമമാക്കാൻ ഡാഷ്‌ബോർഡ് ഉപയോഗിക്കാം.

നോക്കൂ ഓരോ ജോലിക്കും സ്‌ക്യൂനെസ് ജോബ് ദൃശ്യവൽക്കരണത്തിൽ, 1 നവംബർ 2023-ന് സ്‌പൈക്ക് ഉണ്ടായി. ജോബ് മൾട്ടിസ്റ്റേജ്-ഡെമോയുടെ സ്‌ക്യൂനെസ് മെട്രിക്‌സ് 9.53 കാണിച്ചു, ഇത് മറ്റുള്ളവയേക്കാൾ വളരെ കൂടുതലാണ്.

നമുക്ക് വിശദാംശങ്ങളിലേക്ക് തുരത്താം. നിങ്ങൾക്ക് തിരഞ്ഞെടുക്കാം നിയന്ത്രണങ്ങൾ, തീയതി സമയം, പ്രദേശം, AWS അക്കൗണ്ട് ഐഡി, AWS ഗ്ലൂ ജോലിയുടെ പേര്, ജോബ് റൺ ഐഡി, ഡാറ്റ സ്റ്റോറുകളുടെ ഉറവിടം, സിങ്ക് എന്നിവ അടിസ്ഥാനമാക്കി ഫിൽട്ടർ വ്യവസ്ഥകൾ മാറ്റുക. ഇപ്പോൾ, മൾട്ടിസ്റ്റേജ്-ഡെമോ എന്ന ജോലിയുടെ പേര് ഉപയോഗിച്ച് നമുക്ക് ഫിൽട്ടർ ചെയ്യാം.

ഫിൽട്ടർ ചെയ്തത് ഓരോ ജോലിക്കും തൊഴിലാളി വിനിയോഗം ദൃശ്യവൽക്കരണം 0.5 കാണിക്കുന്നു, അതിൻ്റെ ഏറ്റവും കുറഞ്ഞ മൂല്യം 0.16 ആയിരുന്നു. വിഭവ വിനിയോഗത്തിൽ മെച്ചപ്പെടാൻ ഒരു ഇടമുണ്ടെന്ന് തോന്നുന്നു. തൊഴിലാളികളുടെ വിനിയോഗം വർദ്ധിപ്പിക്കുന്നതിന് ഈ ജോലിക്കായി ഓട്ടോ സ്കെയിലിംഗ് പ്രവർത്തനക്ഷമമാക്കാൻ ഈ നിരീക്ഷണം നിങ്ങളെ നയിക്കുന്നു.

ക്ലീനപ്പ്

നിങ്ങളുടെ AWS ഉറവിടങ്ങൾ വൃത്തിയാക്കാൻ ഇനിപ്പറയുന്ന കമാൻഡുകൾ പ്രവർത്തിപ്പിക്കുക:

1. ഉറവിടങ്ങൾ വൃത്തിയാക്കാൻ മോണിറ്ററിംഗ് അക്കൗണ്ട് ഉപയോഗിച്ച് ഇനിപ്പറയുന്ന കമാൻഡ് പ്രവർത്തിപ്പിക്കുക:

   $ cdk destroy '*' --profile <MONITORING-PROFILE>

   ഉറവിടങ്ങൾ വൃത്തിയാക്കാൻ ഉറവിട അക്കൗണ്ട് ഉപയോഗിച്ച് ഇനിപ്പറയുന്ന കമാൻഡ് പ്രവർത്തിപ്പിക്കുക:

   $ cdk destroy MetricSenderStack --profile <SOURCE-PROFILE>

പരിഗണനകൾ

QuickSight സംയോജനം വിശകലനത്തിനും മികച്ച വഴക്കത്തിനും വേണ്ടി രൂപകൽപ്പന ചെയ്തിട്ടുള്ളതാണ്. ഏത് ഫീൽഡിനെയും അടിസ്ഥാനമാക്കി നിങ്ങൾക്ക് മെട്രിക്‌സ് സമാഹരിക്കാം. ഒരേസമയം നിരവധി ജോലികൾ കൈകാര്യം ചെയ്യുമ്പോൾ, പ്രശ്നമുള്ള ജോലികൾ തിരിച്ചറിയാൻ QuickSight സ്ഥിതിവിവരക്കണക്കുകൾ നിങ്ങളെ സഹായിക്കുന്നു.

നിങ്ങളുടെ പരിതസ്ഥിതികളിൽ കൂടുതൽ വിഭവങ്ങൾ ഉപയോഗിച്ച് ക്വിക്ക്‌സൈറ്റ് സംയോജനം കൈവരിക്കാനാകും. മോണിറ്ററിംഗ് അക്കൗണ്ടിന് AWS ഗ്ലൂ ഡാറ്റാബേസ്, ടേബിൾ, ക്രാളർ, S3 ബക്കറ്റ് എന്നിവയും QuickSight-ൽ മെട്രിക്‌സ് ദൃശ്യവൽക്കരിക്കാൻ അഥീന അന്വേഷണങ്ങൾ പ്രവർത്തിപ്പിക്കാനുള്ള കഴിവും ആവശ്യമാണ്. ഓരോ ഉറവിട അക്കൗണ്ടിനും ഒരു മെട്രിക് സ്ട്രീമും ഒരു ഫയർഹോസ് ഡെലിവറി സ്ട്രീമും ആവശ്യമാണ്. ഇത് അധിക ചിലവുകൾ ഉണ്ടാക്കും.

ആവശ്യമായ എല്ലാ ഉറവിടങ്ങളും AWS CDK-യിൽ ടെംപ്ലേറ്റ് ചെയ്തിട്ടുണ്ട്.

തീരുമാനം

ക്ലൗഡ് വാച്ച് മെട്രിക് സ്ട്രീമുകളും സ്‌പൈസും ഉപയോഗിച്ച് ക്വിക്ക്‌സൈറ്റിൽ AWS ഗ്ലൂ ജോബ് ഒബ്സർവബിലിറ്റി മെട്രിക്‌സ് എങ്ങനെ ദൃശ്യവത്കരിക്കാമെന്നും വിശകലനം ചെയ്യാമെന്നും ഈ പോസ്റ്റിൽ ഞങ്ങൾ പര്യവേക്ഷണം ചെയ്തു. ഇൻ്ററാക്ടീവ് ക്വിക്ക്‌സൈറ്റ് ഡാഷ്‌ബോർഡുകളിലേക്ക് പുതിയ നിരീക്ഷണ അളവുകൾ ബന്ധിപ്പിക്കുന്നതിലൂടെ, AWS ഗ്ലൂ ജോലി ഉപയോഗം ഒപ്റ്റിമൈസ് ചെയ്യുന്നതിന് നിങ്ങൾക്ക് പ്രതിദിന, പ്രതിവാര, പ്രതിമാസ പാറ്റേണുകൾ കണ്ടെത്താനാകും. തൊഴിലാളികളുടെ ഉപയോഗം, പിശക് വിഭാഗങ്ങൾ, ത്രൂപുട്ട് എന്നിവയും അതിലേറെയും പോലുള്ള മെട്രിക്‌സിലെ ട്രെൻഡുകൾ വിശകലനം ചെയ്യാൻ QuickSight-ൻ്റെ സമ്പന്നമായ വിഷ്വലൈസേഷൻ കഴിവുകൾ നിങ്ങളെ അനുവദിക്കുന്നു. ജോലിയുടെ പേര് പോലുള്ള വ്യത്യസ്ത അളവുകൾ ഉപയോഗിച്ച് മെട്രിക്കുകളും സ്ലൈസിംഗ് ഡാറ്റയും സമാഹരിക്കുന്നത് ആഴത്തിലുള്ള ഉൾക്കാഴ്ചകൾ നൽകും.

സാമ്പിൾ ഡാഷ്‌ബോർഡ് കാലക്രമേണ മെട്രിക്‌സ്, മികച്ച പിശകുകൾ, താരതമ്യ ജോലി വിശകലനം എന്നിവ കാണിച്ചു. ഈ ദൃശ്യവൽക്കരണങ്ങളും റിപ്പോർട്ടുകളും സ്ഥാപനത്തിലുടനീളമുള്ള ടീമുകളുമായി സുരക്ഷിതമായി പങ്കിടാനാകും. AWS ഗ്ലൂ ഒബ്സർവബിലിറ്റി മെട്രിക്കുകളെക്കുറിച്ചുള്ള ഡാറ്റാധിഷ്ഠിത സ്ഥിതിവിവരക്കണക്കുകൾ ഉപയോഗിച്ച്, പ്രകടന തടസ്സങ്ങൾ, പൊതുവായ പിശകുകൾ എന്നിവയും അതിലേറെയും സംബന്ധിച്ച ആഴത്തിലുള്ള ഉൾക്കാഴ്ചകൾ നിങ്ങൾക്ക് ലഭിക്കും.

രചയിതാക്കളെക്കുറിച്ച്

നൊരിതക സെകിയമ AWS ഗ്ലൂ ടീമിലെ ഒരു പ്രധാന ബിഗ് ഡാറ്റ ആർക്കിടെക്റ്റാണ്. ഉപഭോക്താക്കളെ സഹായിക്കുന്നതിനായി സോഫ്റ്റ്‌വെയർ ആർട്ടിഫാക്‌റ്റുകൾ നിർമ്മിക്കുന്നതിനുള്ള ഉത്തരവാദിത്തം അദ്ദേഹത്തിനാണ്. ഒഴിവുസമയങ്ങളിൽ, അവൻ തന്റെ പുതിയ റോഡ് ബൈക്കുമായി സൈക്കിൾ ചവിട്ടുന്നത് ആസ്വദിക്കുന്നു.

ചുഹാൻ ലിയു AWS ഗ്ലൂ ടീമിലെ സോഫ്റ്റ്‌വെയർ ഡെവലപ്‌മെൻ്റ് എഞ്ചിനീയറാണ്. ബിഗ് ഡാറ്റ പ്രോസസ്സിംഗ്, അനലിറ്റിക്സ്, മാനേജ്മെൻ്റ് എന്നിവയ്ക്കായി സ്കെയിലബിൾ ഡിസ്ട്രിബ്യൂട്ടഡ് സിസ്റ്റങ്ങൾ നിർമ്മിക്കുന്നതിൽ അദ്ദേഹത്തിന് താൽപ്പര്യമുണ്ട്. ഒഴിവുസമയങ്ങളിൽ അവൻ ടെന്നീസ് കളിക്കുന്നു.

XiaoRun യു AWS ഗ്ലൂ ടീമിലെ സോഫ്റ്റ്‌വെയർ ഡെവലപ്‌മെൻ്റ് എഞ്ചിനീയറാണ്. ഉപഭോക്താക്കളെ സഹായിക്കുന്നതിനായി AWS ഗ്ലൂവിനായി പുതിയ ഫീച്ചറുകൾ നിർമ്മിക്കുന്നതിൽ അദ്ദേഹം പ്രവർത്തിക്കുന്നു. ജോലിക്ക് പുറത്ത്, ബേ ഏരിയയിലെ പുതിയ സ്ഥലങ്ങൾ പര്യവേക്ഷണം ചെയ്യുന്നത് Xiaorun ആസ്വദിക്കുന്നു.

സീൻ മാ AWS ഗ്ലൂ ടീമിലെ ഒരു പ്രധാന ഉൽപ്പന്ന മാനേജരാണ്. 18 വർഷത്തിലേറെയായി ഉപയോക്താക്കൾക്കായി ഡാറ്റയുടെ പവർ അൺലോക്ക് ചെയ്യുന്ന എൻ്റർപ്രൈസ് ഉൽപ്പന്നങ്ങൾ നവീകരിക്കുകയും വിതരണം ചെയ്യുകയും ചെയ്തതിൻ്റെ ട്രാക്ക് റെക്കോർഡ് അദ്ദേഹത്തിനുണ്ട്. ജോലിക്ക് പുറത്ത്, സീൻ സ്കൂബ ഡൈവിംഗും കോളേജ് ഫുട്ബോളും ആസ്വദിക്കുന്നു.

മോഹിത് സക്സേന AWS ഗ്ലൂ ടീമിലെ സീനിയർ സോഫ്റ്റ്‌വെയർ ഡെവലപ്‌മെന്റ് മാനേജരാണ്. ആമസോൺ എസ് 3, ഡാറ്റാബേസുകൾ, ക്ലൗഡിലെ ഡാറ്റ വെയർഹൗസുകൾ എന്നിവയിലുടനീളം പെറ്റാബൈറ്റ് ഡാറ്റ സുഗമമായി കൈകാര്യം ചെയ്യാനും പരിവർത്തനം ചെയ്യാനും ഇന്ററാക്ടീവ്, ലളിതമായ ഇന്റർഫേസുകൾ ഉപയോഗിച്ച് ഉപഭോക്താക്കളെ പ്രാപ്തമാക്കുന്നതിന് വിതരണം ചെയ്യുന്ന സംവിധാനങ്ങൾ നിർമ്മിക്കുന്നതിൽ അദ്ദേഹത്തിന്റെ ടീം ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നു.

• SEO പവർ ചെയ്ത ഉള്ളടക്കവും PR വിതരണവും. ഇന്ന് ആംപ്ലിഫൈഡ് നേടുക.
• PlatoData.Network ലംബ ജനറേറ്റീവ് Ai. സ്വയം ശാക്തീകരിക്കുക. ഇവിടെ പ്രവേശിക്കുക.
• PlatoAiStream. Web3 ഇന്റലിജൻസ്. വിജ്ഞാനം വർധിപ്പിച്ചു. ഇവിടെ പ്രവേശിക്കുക.
• പ്ലേറ്റോഇഎസ്ജി. കാർബൺ, ക്ലീൻ ടെക്, ഊർജ്ജം, പരിസ്ഥിതി, സോളാർ, മാലിന്യ സംസ്കരണം. ഇവിടെ പ്രവേശിക്കുക.
• പ്ലേറ്റോ ഹെൽത്ത്. ബയോടെക് ആൻഡ് ക്ലിനിക്കൽ ട്രയൽസ് ഇന്റലിജൻസ്. ഇവിടെ പ്രവേശിക്കുക.
• അവലംബം: https://aws.amazon.com/blogs/big-data/enhance-monitoring-and-debugging-for-aws-glue-jobs-using-new-job-observability-metrics-part-3-visualization-and-trend-analysis-using-amazon-quicksight/