هذا مقال ضيف شارك في تأليفه شرافان كومار وأفيرات إس من جرامينر.

جرامينرأو المعلم جاهد تساهم الشركة في التنمية المستدامة من خلال التركيز على الزراعة والغابات وإدارة المياه والطاقة المتجددة. من خلال تزويد السلطات بالأدوات والأفكار التي تحتاجها لاتخاذ قرارات مستنيرة بشأن التأثير البيئي والاجتماعي، تلعب Gramener دورًا حيويًا في بناء مستقبل أكثر استدامة.

الجزر الحرارية الحضرية (UHIs) هي مناطق داخل المدن تشهد درجات حرارة أعلى بكثير من المناطق الريفية المحيطة بها. تعد UHIs مصدر قلق متزايد لأنها يمكن أن تؤدي إلى مشاكل بيئية وصحية مختلفة. ولمواجهة هذا التحدي، قامت شركة Gramener بتطوير حل يستخدم البيانات المكانية وتقنيات النمذجة المتقدمة لفهم وتخفيف تأثيرات UHI التالية:

• تناقض في درجة الحرارة – يمكن أن تتسبب UHIs في أن تكون المناطق الحضرية أكثر سخونة من المناطق الريفية المحيطة بها.
• تأثير الصحه – يساهم ارتفاع درجات الحرارة في المناطق الصحية العامة في زيادة بنسبة 10-20% في الأمراض والوفيات المرتبطة بالحرارة.
• استهلاك الطاقة - تعمل UHIs على تضخيم متطلبات تكييف الهواء، مما يؤدي إلى زيادة تصل إلى 20% في استهلاك الطاقة.
• نوعية الهواء - تؤدي UHIs إلى تفاقم جودة الهواء، مما يؤدي إلى ارتفاع مستويات الضباب الدخاني والجسيمات، مما قد يزيد من مشاكل الجهاز التنفسي.
• الأثر الاقتصادي - يمكن أن تؤدي تكاليف الرعاية الصحية الشاملة إلى تكاليف طاقة إضافية بمليارات الدولارات، وأضرار في البنية التحتية، ونفقات على الرعاية الصحية.

يعمل حل GeoBox الخاص بـ Gramener على تمكين المستخدمين من الاستفادة بسهولة من البيانات الجغرافية المكانية وتحليلها من خلال واجهة برمجة التطبيقات القوية الخاصة به، مما يتيح التكامل السلس في سير العمل الحالي. يؤدي ذلك إلى تبسيط عملية الاستكشاف وتوفير الوقت والموارد القيمة، مما يسمح للمجتمعات بتحديد نقاط اتصال UHI بسرعة. تقوم GeoBox بعد ذلك بتحويل البيانات الأولية إلى رؤى قابلة للتنفيذ مقدمة بتنسيقات سهلة الاستخدام مثل البيانات النقطية وGeoJSON وExcel، مما يضمن الفهم الواضح والتنفيذ الفوري لاستراتيجيات تخفيف UHI. وهذا يمكّن المجتمعات من اتخاذ قرارات مستنيرة وتنفيذ مبادرات التنمية الحضرية المستدامة، ودعم المواطنين في نهاية المطاف من خلال تحسين جودة الهواء، وتقليل استهلاك الطاقة، وتوفير بيئة أكثر برودة وصحة.

يوضح هذا المنشور كيفية حل GeoBox الخاص بـ Gramener يستخدم القدرات الجغرافية المكانية لـ Amazon SageMaker لإجراء تحليل مراقبة الأرض وفتح رؤى UHI من صور القمر الصناعي. تسهل قدرات SageMaker الجغرافية المكانية على علماء البيانات ومهندسي التعلم الآلي (ML) إنشاء النماذج وتدريبها ونشرها باستخدام البيانات الجغرافية المكانية. تتيح لك إمكانات SageMaker الجغرافية المكانية تحويل وإثراء مجموعات البيانات الجغرافية المكانية واسعة النطاق بكفاءة، وتسريع تطوير المنتج والوقت اللازم للتوصل إلى رؤى باستخدام نماذج تعلم الآلة المدربة مسبقًا.

حل نظرة عامة

يهدف Geobox إلى تحليل تأثير UHI والتنبؤ به من خلال تسخير الخصائص المكانية. فهو يساعد في فهم كيف يمكن للتغيرات المقترحة في البنية التحتية واستخدام الأراضي أن تؤثر على أنماط التأمين الصحي الشامل وتحديد العوامل الرئيسية التي تؤثر على التأمين الصحي الشامل. يوفر هذا النموذج التحليلي تقديرات دقيقة لدرجة حرارة سطح الأرض (LST) على المستوى الحبيبي، مما يسمح لـ Gramener بقياس التغيرات في تأثير UHI بناءً على المعلمات (أسماء الفهارس والبيانات المستخدمة).

يتيح Geobox لإدارات المدينة القيام بما يلي:

• تحسين التكيف مع المناخ تخطيط – القرارات المستنيرة تقلل من تأثير أحداث الحرارة الشديدة.
• دعم توسيع المساحات الخضراء - المزيد من المساحات الخضراء يعزز جودة الهواء ونوعية الحياة.
• تعزيز التعاون بين الإدارات – الجهود المنسقة تعمل على تحسين السلامة العامة.
• الاستعداد الاستراتيجي للطوارئ – التخطيط المستهدف يقلل من احتمالات حالات الطوارئ.
• التعاون في مجال الخدمات الصحية - التعاون يؤدي إلى تدخلات صحية أكثر فعالية.

سير عمل الحل

في هذا القسم، نناقش كيفية عمل المكونات المختلفة معًا، بدءًا من الحصول على البيانات وحتى النمذجة المكانية والتنبؤ، والتي تعمل بمثابة جوهر حل UHI. يتبع الحل سير عمل منظم، مع التركيز بشكل أساسي على معالجة UHIs في إحدى مدن كندا.

المرحلة 1: خط أنابيب البيانات

يلتقط القمر الصناعي Landsat 8 صورًا تفصيلية للمنطقة محل الاهتمام كل 15 يومًا في تمام الساعة 11:30 صباحًا، مما يوفر رؤية شاملة للمناظر الطبيعية والبيئة في المدينة. تم إنشاء نظام شبكي بحجم شبكة يبلغ 48 مترًا باستخدام مكتبة Mapbox's Supermercado Python عند مستوى التكبير 19، مما يتيح التحليل المكاني الدقيق.

المرحلة الثانية: التحليل الاستكشافي

من خلال دمج طبقات بيانات البنية التحتية والسكان، يعمل Geobox على تمكين المستخدمين من تصور التوزيع المتغير للمدينة واستخلاص رؤى مورفولوجية حضرية، مما يتيح إجراء تحليل شامل لبنية المدينة وتطورها.

أيضًا، يتم استخدام صور Landsat من المرحلة 1 لاستخلاص رؤى مثل مؤشر الاختلاف الطبيعي للغطاء النباتي (NDVI) ومؤشر الاختلاف المعياري المدمج (NDBI)، مع بيانات تم قياسها بدقة إلى شبكة بطول 48 مترًا لتحقيق الاتساق والدقة.

يتم استخدام المتغيرات التالية:

• درجة حرارة سطح الأرض
• تغطية موقع البناء
• NDVI
• تغطية كتلة البناء
• NDBI
• منطقة بناء
• ظاهرة البياض
• عد البناء
• مؤشر المياه الموحد المعدل (MNDWI)
• ارتفاع المبنى
• عدد الطوابق ومساحة الطابق
• نسبة المساحة الأرضية

المرحلة 3: نموذج التحليلات

تتكون هذه المرحلة من ثلاث وحدات، تستخدم نماذج التعلم الآلي على البيانات للحصول على نظرة ثاقبة حول LST وعلاقتها بالعوامل المؤثرة الأخرى:

• الوحدة 1: إحصائيات المناطق وتجميعها - تلعب إحصائيات المنطقة دورًا حيويًا في حساب الإحصائيات باستخدام القيم من البيانات النقطية للقيمة. يتضمن استخراج البيانات الإحصائية لكل منطقة بناءً على البيانات النقطية للمنطقة. يتم تنفيذ التجميع بدقة 100 متر، مما يسمح بإجراء تحليل شامل للبيانات.
• الوحدة 2: النمذجة المكانية – قام جرامنر بتقييم ثلاثة نماذج انحدار (التأثيرات الخطية والمكانية والمكانية الثابتة) لكشف العلاقة بين درجة حرارة سطح الأرض (LST) والمتغيرات الأخرى. ومن بين هذه النماذج، حقق نموذج التأثير المكاني الثابت أعلى متوسط ​​لقيمة R-squared، خاصة بالنسبة للإطار الزمني الممتد من 2014 إلى 2020.
• الوحدة 3: التنبؤ بالمتغيرات - للتنبؤ بالمتغيرات على المدى القصير، استخدم جرامنر تقنيات التجانس الأسي. ساعدت هذه التنبؤات في فهم قيم LST المستقبلية واتجاهاتها. بالإضافة إلى ذلك، قاموا بالتعمق في تحليل المقياس طويل المدى باستخدام بيانات مسار التركيز التمثيلي (RCP8.5) للتنبؤ بقيم LST على مدى فترات طويلة.

اكتساب البيانات ومعالجة مسبقة

لتنفيذ الوحدات، استخدم Gramener دفتر SageMaker الجغرافي المكاني بداخله أمازون ساجميكر ستوديو. يتم تثبيت نواة دفتر الملاحظات الجغرافية المكانية مسبقًا مع المكتبات الجغرافية المكانية شائعة الاستخدام، مما يتيح التصور المباشر ومعالجة البيانات الجغرافية المكانية داخل بيئة دفتر ملاحظات Python.

استخدم جرامنر مجموعات بيانات مختلفة للتنبؤ باتجاهات LST، بما في ذلك تقييم المباني وبيانات درجة الحرارة، بالإضافة إلى صور الأقمار الصناعية. كان مفتاح حل UHI هو استخدام البيانات من القمر الصناعي Landsat 8. كان هذا القمر الصناعي لتصوير الأرض، وهو مشروع مشترك بين هيئة المسح الجيولوجي الأمريكية ووكالة ناسا، بمثابة عنصر أساسي في المشروع.

مع SearchRasterDataCollection API، يوفر SageMaker وظائف مصممة خصيصًا لتسهيل استرجاع صور الأقمار الصناعية. استخدم Gramener واجهة برمجة التطبيقات هذه لاسترداد بيانات القمر الصناعي Landsat 8 لحل UHI.

• SearchRasterDataCollection تستخدم واجهة برمجة التطبيقات معلمات الإدخال التالية:

• ارن – اسم Amazon Resource (ARN) لمجموعة البيانات النقطية المستخدمة في الاستعلام
• مجال الاهتمام - مضلع GeoJSON يمثل منطقة الاهتمام
• مرشح النطاق الزمني - النطاق الزمني للفائدة، يشار إليه بـ {StartTime: <string>, EndTime: <string>}
• مرشحات الملكية - يمكن أيضاً دمج مرشحات الخصائص التكميلية، مثل مواصفات الحد الأقصى المقبول للغطاء السحابي

يوضح المثال التالي كيف يمكن الاستعلام عن بيانات Landsat 8 عبر واجهة برمجة التطبيقات:

search_params = {
    "Arn": "arn:aws:sagemaker-geospatial:us-west-2:378778860802:raster-data-collection/public/gmqa64dcu2g9ayx1", # NASA/USGS Landsat
    "RasterDataCollectionQuery": {
        "AreaOfInterest": {
            "AreaOfInterestGeometry": {
                "PolygonGeometry": {
                    "Coordinates": coordinates
                }
            }
        },
        "TimeRangeFilter": {
            "StartTime": "2014-01-01T00:00:00Z",
            "EndTime": "2020-12-31T23:59:59Z",
        },
        "PropertyFilters": {
            "Properties": [{"Property": {"EoCloudCover": {"LowerBound": 0, "UpperBound": 20.0}}}],
            "LogicalOperator": "AND",
        }
    },
}

response = geospatial_client.search_raster_data_collection(**search_params)

لمعالجة بيانات الأقمار الصناعية واسعة النطاق، تم استخدام جرامنر أمازون SageMaker معالجة مع الحاوية الجغرافية المكانية. تتيح معالجة SageMaker إمكانية التوسع المرن لمجموعات الحوسبة لاستيعاب المهام ذات الأحجام المختلفة، بدءًا من معالجة كتلة مدينة واحدة وحتى إدارة أعباء العمل على مستوى الكوكب. تقليديًا، كان إنشاء مجموعة حسابية وإدارتها يدويًا لمثل هذه المهام أمرًا مكلفًا ويستغرق وقتًا طويلاً، خاصة بسبب التعقيدات التي ينطوي عليها توحيد بيئة مناسبة لمعالجة البيانات الجغرافية المكانية.

الآن، مع الحاوية الجغرافية المكانية المتخصصة في SageMaker، أصبحت إدارة وتشغيل مجموعات المعالجة الجغرافية المكانية أكثر وضوحًا. تتطلب هذه العملية الحد الأدنى من جهد الترميز: ما عليك سوى تحديد حجم العمل وتحديد موقع البيانات الجغرافية المكانية خدمة تخزين أمازون البسيطة (Amazon S3)، وحدد الحاوية الجغرافية المكانية المناسبة. تقوم معالجة SageMaker بعد ذلك بتوفير موارد المجموعة الضرورية تلقائيًا، مما يسهل التشغيل الفعال للمهام الجغرافية المكانية على نطاقات تتراوح من مستوى المدينة إلى مستوى القارة.

يدير SageMaker البنية التحتية الأساسية المطلوبة لمهمة المعالجة بشكل كامل. فهو يخصص موارد المجموعة طوال مدة المهمة ويزيلها عند اكتمال المهمة. وأخيرًا، يتم حفظ نتائج مهمة المعالجة في حاوية S3 المخصصة.

يمكن تكوين مهمة معالجة SageMaker باستخدام الصورة الجغرافية المكانية على النحو التالي من داخل دفتر الملاحظات الجغرافي المكاني:

from sagemaker import get_execution_role
from sagemaker.sklearn.processing import ScriptProcessor
from sagemaker.processing import ProcessingInput, ProcessingOutput

execution_role_arn = get_execution_role()

geospatial_image_uri = '081189585635.dkr.ecr.us-west-2.amazonaws.com/sagemaker-geospatial-v1-0:latest'
processor = ScriptProcessor(
    command=['python3'],
    image_uri=geospatial_image_uri,
    role=execution_role_arn,
    instance_count=20,
    instance_type='ml.m5.xlarge',
    base_job_name='geospatial-processing-spectral-indices'
)

تحدد المعلمة عدد المثيلات عدد المثيلات التي يجب أن تستخدمها مهمة المعالجة، ويحدد نوع المثيل نوع المثيل الذي يجب استخدامه.

يوضح المثال التالي كيفية تشغيل برنامج Python النصي في مجموعة مهام المعالجة. عند استدعاء أمر التشغيل، تبدأ المجموعة وتوفر موارد المجموعة الضرورية تلقائيًا:

processor.run(
    code='calculate_variables.py',
    inputs=[
        ProcessingInput(
            source=s3_manifest_url,
            destination='/opt/ml/processing/input_data/',
            s3_data_type="ManifestFile",
            s3_data_distribution_type="ShardedByS3Key"
        ),
    ],
    outputs=[
        ProcessingOutput(
            source='/opt/ml/processing/output_data/',
            destination=s3_output_prefix_url
        )
    ]
)

النمذجة المكانية وتنبؤات LST

في مهمة المعالجة، يتم حساب مجموعة من المتغيرات، بما في ذلك الإشعاع الطيفي لأعلى الغلاف الجوي، ودرجة حرارة السطوع، والانعكاس من Landsat 8. بالإضافة إلى ذلك، يتم حساب المتغيرات المورفولوجية مثل نسبة مساحة الأرضية (FAR)، وتغطية موقع البناء، وتغطية كتلة البناء، وقيمة الإنتروبيا لشانون.

يوضح التعليمة البرمجية التالية كيف يمكن إجراء حساب هذا النطاق:

def calculate_ndvi(nir08, red): 
    return (nir08 - red) / (nir08 + red) 
 
def calculate_ndbi(swir16, nir08): 
    return (swir16 - nir08) / (swir16 + nir08) 
 
def calculate_st(bt): 
    return ((bt * 0.00341802) + 149.0) - 273 
 
def indices_calc(data): 
    with concurrent.futures.ThreadPoolExecutor() as executor: 
        ndvi_future = executor.submit(calculate_ndvi, data.sel(band="SR_B5"), data.sel(band="SR_B4")) 
        ndbi_future = executor.submit(calculate_ndbi, data.sel(band="SR_B6"), data.sel(band="SR_B5")) 
        st_future = executor.submit(calculate_st, data.sel(band="ST_B10")) 
 
        ndvi = ndvi_future.result() 
        ndbi = ndbi_future.result() 
        st = st_future.result() 
 
    ndvi.attrs = data.attrs 
    ndbi.attrs = data.attrs 
    st.attrs = data.attrs 
 
    return ndvi, ndbi, st 

بعد حساب المتغيرات، يتم إجراء إحصائيات المناطق لتجميع البيانات حسب الشبكة. يتضمن ذلك حساب الإحصائيات بناءً على قيم الاهتمام داخل كل منطقة. ولهذه الحسابات تم استخدام حجم شبكة يبلغ حوالي 100 متر.

def process_iteration(st, ndvi, ndmi, date, city_name): 
    datacube['st'] = (st.dims, st.values) 
    datacube['ndvi'] = (ndvi.dims, ndvi.values) 
    datacube['ndmi'] = (ndmi.dims, ndmi.values) 
    df = datacube.groupby("id").mean().to_dataframe().reset_index() 
    merged_grid = hexgrid_utm.join(df, on='id', how='left', lsuffix='_')[['id', 'hex_id', 'geometry', 'st', 'ndvi', 'ndmi']] 
    merged_grid.to_file(f"{DATA}/{city_name}/{city_name}_outputs_{date}.geojson", driver='GeoJSON') 
    print("Working on:", date) 
 
def iterative_op(city_json, st, ndvi, ndmi, city_name): 
    with concurrent.futures.ThreadPoolExecutor() as executor: 
        futures = [ 
            executor.submit(process_iteration, st[i], ndvi[i], ndmi[i], date, city_name) 
            for i, _ in enumerate(city_json.time) 
            for date in city_json.date 
        ] 
        for future in concurrent.futures.as_completed(futures): 
            future.result() 
 
    print('Process completed') 

بعد تجميع البيانات، يتم تنفيذ النمذجة المكانية. استخدم جرامنر أساليب الانحدار المكاني، مثل الانحدار الخطي والتأثيرات المكانية الثابتة، لحساب الاعتماد المكاني في الملاحظات. يسهل هذا النهج نمذجة العلاقة بين المتغيرات وLST على المستوى الجزئي.

يوضح التعليمة البرمجية التالية كيف يمكن تشغيل هذه النمذجة المكانية:

features = [ 
    'ndvi', 
    'ndbi', 
    'st', 
    'build_count', 
    'bbc' 
] 
 
def compute_spatial_weights(df, k=8): 
    knn = KNN.from_dataframe(df, k=k) 
    return df[features].apply(lambda y: weights.spatial_lag.lag_spatial(knn, y)).rename(columns=lambda c: 'w_' + c) 
 
def ordinary_least_squares(df_year, spatial=False): 
    formula = f"lst ~ {' + '.join(features)}"  
    if spatial: 
        df_year = df_year.join(compute_spatial_weights(df_year)) 
        formula += f" + {' + '.join(['w_' + f for f in features])}"  
     
    return smf.ols(formula, data=df_year).fit() 
 
def process(df, year): 
    df_year = pd.merge(df[df['year'] == year].fillna(0), grids[['idx', 'name']], on='idx') 
    ols_model = ordinary_least_squares(df_year) 
    ols_spatial_model = ordinary_least_squares(df_year, spatial=True) 
    ols_spatial_fe_model = ordinary_least_squares(df_year, spatial=True) 
     
    return { 
        'year': year, 
        'ols_model': ols_model, 
        'ols_spatial_model': ols_spatial_model, 
        'ols_spatial_fe_model': ols_spatial_fe_model, 
        'ols_r2': [ols_model.rsquared, ols_spatial_model.rsquared, ols_spatial_fe_model.rsquared] 
    } 

استخدم Gramener التجانس الأسي للتنبؤ بقيم LST. يعد التجانس الأسي طريقة فعالة للتنبؤ بالسلاسل الزمنية التي تطبق المتوسطات المرجحة على البيانات السابقة، مع انخفاض الأوزان بشكل كبير مع مرور الوقت. تعتبر هذه الطريقة فعالة بشكل خاص في تسهيل البيانات لتحديد الاتجاهات والأنماط. باستخدام التجانس الأسي، يصبح من الممكن تصور اتجاهات LST والتنبؤ بها بدقة أكبر، مما يسمح بتنبؤات أكثر دقة للقيم المستقبلية بناءً على الأنماط التاريخية.

لتصور التنبؤات، استخدم Gramener دفتر ملاحظات SageMaker الجغرافي المكاني مع مكتبات جغرافية مكانية مفتوحة المصدر لتراكب تنبؤات النماذج على خريطة أساسية وتوفير مجموعات بيانات جغرافية مكانية مرئية ذات طبقات مباشرة داخل دفتر الملاحظات.

وفي الختام

يوضح هذا المنشور كيف تقوم شركة Gramener بتمكين العملاء من اتخاذ قرارات تعتمد على البيانات من أجل البيئات الحضرية المستدامة. مع SageMaker، حققت Gramener توفيرًا كبيرًا في الوقت في تحليل UHI، مما أدى إلى تقليل وقت المعالجة من أسابيع إلى ساعات. يسمح هذا التوليد السريع للرؤى لعملاء Gramener بتحديد المناطق التي تتطلب استراتيجيات تخفيف UHI، والتخطيط بشكل استباقي للتنمية الحضرية ومشاريع البنية التحتية لتقليل UHI، واكتساب فهم شامل للعوامل البيئية لتقييم شامل للمخاطر.

اكتشف إمكانية دمج بيانات مراقبة الأرض في مشاريع الاستدامة الخاصة بك مع SageMaker. لمزيد من المعلومات، راجع ابدأ باستخدام إمكانيات Amazon SageMaker الجغرافية المكانية.

حول المؤلف

ابهيشيك ميتال هو مهندس حلول لفريق القطاع العام العالمي لدى Amazon Web Services (AWS)، حيث يعمل بشكل أساسي مع شركاء ISV عبر الصناعات ويزودهم بالتوجيه المعماري لبناء بنية قابلة للتطوير وتنفيذ استراتيجيات لدفع اعتماد خدمات AWS. إنه متحمس لتحديث المنصات التقليدية والأمن في السحابة. خارج العمل فهو من عشاق السفر.

يانوش فوشيتز هو مهندس حلول أول في AWS، متخصص في الذكاء الاصطناعي/تعلم الآلة. ومع أكثر من 15 عامًا من الخبرة، فهو يدعم العملاء على مستوى العالم في الاستفادة من الذكاء الاصطناعي والتعلم الآلي للحلول المبتكرة وبناء منصات تعلم الآلة على AWS. وتمتد خبرته إلى التعلم الآلي، وهندسة البيانات، والأنظمة الموزعة القابلة للتطوير، مدعومة بخلفية قوية في هندسة البرمجيات والخبرة الصناعية في مجالات مثل القيادة الذاتية.

شرافان كومار هو مدير أول لنجاح العملاء في Gramener، ويتمتع بخبرة تمتد لعشر سنوات في تحليلات الأعمال ونشر البيانات وإقامة علاقات عميقة مع العملاء. يتمتع بأساس متين في إدارة العملاء وإدارة الحسابات في مجال تحليلات البيانات والذكاء الاصطناعي والتعلم الآلي.

أفيرات س هو عالم بيانات جغرافية مكانية في Gramener، يستفيد من الذكاء الاصطناعي/التعلم الآلي لفتح الرؤى من البيانات الجغرافية. تكمن خبرته في إدارة الكوارث، والزراعة، والتخطيط الحضري، حيث يفيد تحليله في عمليات صنع القرار.

• محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
• PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
• أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
• أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
• أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
• المصدر https://aws.amazon.com/blogs/machine-learning/understanding-and-predicting-urban-heat-islands-at-gramener-using-amazon-sagemaker-geospatial-capabilities/