Bu, Gramener'den Shravan Kumar ve Avirat S'nin ortak yazdığı bir konuk yazısıdır.

gramer, Straif Şirket, tarım, ormancılık, su yönetimi ve yenilenebilir enerji konularına odaklanarak sürdürülebilir kalkınmaya katkıda bulunuyor. Gramener, yetkililere çevresel ve sosyal etki konusunda bilinçli kararlar almaları için ihtiyaç duydukları araçları ve bilgileri sağlayarak, daha sürdürülebilir bir gelecek inşa etmede hayati bir rol oynuyor.

Kentsel ısı adaları (KSE'ler), şehirlerin içinde, çevrelerindeki kırsal alanlara göre önemli ölçüde daha yüksek sıcaklıklara maruz kalan alanlardır. KSE'ler giderek artan bir endişe kaynağıdır çünkü çeşitli çevre ve sağlık sorunlarına yol açabilirler. Bu zorluğun üstesinden gelmek için Gramener, aşağıdaki KSE etkilerini anlamak ve azaltmak amacıyla mekansal verileri ve gelişmiş modelleme tekniklerini kullanan bir çözüm geliştirdi:

• Sıcaklık tutarsızlığı – KSE'ler kentsel alanların çevredeki kırsal bölgelere göre daha sıcak olmasına neden olabilir.
• Sağlık etkisi – KSE'lerdeki daha yüksek sıcaklıklar, ısıya bağlı hastalık ve ölümlerde %10-20'lik bir artışa katkıda bulunur.
• Enerji tüketimi - KSE'ler klima taleplerini artırarak enerji tüketiminde %20'ye varan artışa neden olur.
• Hava kalitesi - KSE'ler hava kalitesini kötüleştirerek solunum problemlerini artırabilecek duman ve partikül madde seviyelerinin yükselmesine neden olur.
• Ekonomik etki – KSE'ler milyarlarca dolarlık ek enerji maliyetine, altyapı hasarına ve sağlık harcamalarına neden olabilir.

Gramener'ın GeoBox çözümü, güçlü API'si aracılığıyla kullanıcıların genel coğrafi verilere zahmetsizce erişmesine ve bunları analiz etmesine olanak tanıyarak mevcut iş akışlarına kusursuz entegrasyon sağlar. Bu, araştırmayı kolaylaştırır ve değerli zaman ve kaynaklardan tasarruf sağlayarak toplulukların KSE sıcak noktalarını hızlı bir şekilde belirlemesine olanak tanır. GeoBox daha sonra ham verileri raster, GeoJSON ve Excel gibi kullanıcı dostu formatlarda sunulan eyleme geçirilebilir içgörülere dönüştürerek KSE azaltma stratejilerinin net bir şekilde anlaşılmasını ve anında uygulanmasını sağlar. Bu, toplulukların bilinçli kararlar almasına ve sürdürülebilir kentsel gelişim girişimlerini uygulamasına olanak tanıyarak sonuçta vatandaşları iyileştirilmiş hava kalitesi, azaltılmış enerji tüketimi ve daha serin, daha sağlıklı bir çevre yoluyla destekler.

Bu yazı Gramener'ın GeoBox çözümünün nasıl çalıştığını gösteriyor Amazon SageMaker'ın coğrafi özelliklerini kullanır Dünya gözlem analizi gerçekleştirmek ve uydu görüntülerinden KSİ içgörülerinin kilidini açmak. SageMaker'ın jeo-uzamsal yetenekleri, veri bilimcilerin ve makine öğrenimi (ML) mühendislerinin jeo-uzaysal verileri kullanarak modeller oluşturmasını, eğitmesini ve dağıtmasını kolaylaştırır. SageMaker'ın coğrafi özellikleri, büyük ölçekli coğrafi veri kümelerini verimli bir şekilde dönüştürmenize ve zenginleştirmenize, önceden eğitilmiş makine öğrenimi modelleriyle ürün geliştirmeyi ve içgörü elde etme süresini hızlandırmanıza olanak tanır.

Çözüme genel bakış

Geobox, mekansal özelliklerden yararlanarak KSE etkisini analiz etmeyi ve tahmin etmeyi amaçlamaktadır. Önerilen altyapı ve arazi kullanımı değişikliklerinin KSE modellerini nasıl etkileyebileceğinin anlaşılmasına yardımcı olur ve KSE'yi etkileyen temel faktörleri tanımlar. Bu analitik model, arazi yüzeyi sıcaklığının (LST) ayrıntılı düzeyde doğru tahminlerini sağlayarak Gramener'in parametrelere (indekslerin adları ve kullanılan veriler) dayalı olarak KSE etkisindeki değişiklikleri ölçmesine olanak tanır.

Geobox şehir departmanlarının aşağıdakileri yapmasını sağlar:

• Geliştirilmiş iklim adaptasyonu planlama – Bilinçli kararlar aşırı sıcaklık olaylarının etkisini azaltır.
• Yeşil alan genişletme desteği – Daha fazla yeşil alan hava kalitesini ve yaşam kalitesini artırır.
• Gelişmiş departmanlar arası işbirliği – Koordineli çabalar kamu güvenliğini artırır.
• Stratejik acil durum hazırlığı – Hedefli planlama acil durum potansiyelini azaltır.
• Sağlık hizmetleri işbirliği – İşbirliği daha etkili sağlık müdahalelerine yol açar.

Çözüm iş akışı

Bu bölümde, KSE çözümünün temelini oluşturan, veri toplamadan mekansal modelleme ve tahmine kadar farklı bileşenlerin birlikte nasıl çalıştığını tartışıyoruz. Çözüm, öncelikli olarak Kanada'nın bir şehrinde KSE'leri ele almaya odaklanan yapılandırılmış bir iş akışını takip ediyor.

Aşama 1: Veri hattı

Landsat 8 uydusu, her 15 günde bir saat 11:30'da ilgi duyulan alanın ayrıntılı görüntülerini yakalayarak şehrin manzarasının ve çevresinin kapsamlı bir görünümünü sağlar. Mapbox'ın Supermercado Python kütüphanesi kullanılarak 48 yakınlaştırma seviyesinde 19 metrelik grid boyutunda bir grid sistemi kurularak hassas mekansal analiz yapılmasına olanak sağlanmıştır.

Aşama 2: Keşifsel analiz

Altyapı ve nüfus veri katmanlarını entegre eden Geobox, kullanıcılara şehrin değişken dağılımını görselleştirme ve kentsel morfolojik bilgiler elde etme gücü vererek şehrin yapısı ve gelişiminin kapsamlı bir analizini mümkün kılıyor.

Ayrıca, 1. aşamadaki Landsat görüntüleri, tutarlılık ve doğruluk için 48 metrelik ızgaraya titizlikle ölçeklenen verilerle Normalleştirilmiş Fark Bitki Örtüsü İndeksi (NDVI) ve Normalleştirilmiş Fark Oluşturma Endeksi (NDBI) gibi öngörüler elde etmek için kullanılır.

Aşağıdaki değişkenler kullanılır:

• Arazi yüzey sıcaklığı
• Şantiye kapsamı
• NDVI
• Yapı taşı kapsamı
• NDBI
• İnşaat alanı
• aklık
• Bina sayısı
• Modifiye Normalleştirilmiş Fark Su İndeksi (MNDWI)
• Bina yüksekliği
• Kat sayısı ve taban alanı
• Taban alanı oranı

Aşama 3: Analitik modeli

Bu aşama, LST ve LST'nin diğer etkili faktörlerle ilişkisi hakkında bilgi edinmek için veriler üzerinde ML modellerini kullanan üç modülden oluşur:

• Modül 1: Bölgesel istatistikler ve toplama – Bölgesel istatistikler, değer rasterından elde edilen değerleri kullanarak istatistiklerin hesaplanmasında hayati bir rol oynar. Bölge taramasına dayalı olarak her bölge için istatistiksel verilerin çıkarılmasını içerir. Toplama, 100 metrelik bir çözünürlükte gerçekleştirilerek verilerin kapsamlı bir analizine olanak tanır.
• Modül 2: Mekansal modelleme – Gramener, Arazi Yüzey Sıcaklığı (LST) ile diğer değişkenler arasındaki korelasyonu ortaya çıkarmak için üç regresyon modelini (doğrusal, mekansal ve mekansal sabit etkiler) değerlendirdi. Bu modeller arasında, mekansal sabit etki modeli, özellikle 2014'ten 2020'ye kadar olan zaman diliminde en yüksek ortalama R-kare değerini vermiştir.
• Modül 3: Değişken tahmini – Kısa vadedeki değişkenleri tahmin etmek için Gramener üstel düzeltme tekniklerini kullandı. Bu tahminler gelecekteki LST değerlerinin ve eğilimlerinin anlaşılmasına yardımcı oldu. Ek olarak, uzun dönemler boyunca LST değerlerini tahmin etmek için Temsilci Konsantrasyon Yolu (RCP8.5) verilerini kullanarak uzun vadeli ölçek analizini derinlemesine incelediler.

Veri toplama ve ön işleme

Gramener, modülleri uygulamak için SageMaker coğrafi not defterini kullandı. Amazon SageMaker Stüdyosu. Jeo-uzaysal not defteri çekirdeği, yaygın olarak kullanılan jeo-uzaysal kütüphanelerle önceden yüklenmiş olup, Python not defteri ortamında jeo-uzaysal verilerin doğrudan görselleştirilmesine ve işlenmesine olanak sağlar.

Gramener, LST eğilimlerini tahmin etmek için bina değerlendirmesi ve sıcaklık verilerinin yanı sıra uydu görüntüleri de dahil olmak üzere çeşitli veri kümeleri kullandı. KSE çözümünün anahtarı Landsat 8 uydusundan gelen verileri kullanmaktı. USGS ve NASA'nın ortak girişimi olan bu Dünya görüntüleme uydusu, projenin temel bir bileşeni olarak görev yaptı.

İle Arama RasterVeri Toplama API, SageMaker uydu görüntülerinin alınmasını kolaylaştırmak için amaca yönelik olarak oluşturulmuş bir işlevsellik sağlar. Gramener, KSE çözümü için Landsat 8 uydu verilerini almak amacıyla bu API'yi kullandı.

The SearchRasterDataCollection API aşağıdaki giriş parametrelerini kullanır:

• saat – Sorguda kullanılan raster veri toplamanın Amazon Kaynak Adı (ARN)
• İlgi alanı – İlgi alanını temsil eden bir GeoJSON poligonu
• Zaman Aralığı Filtresi – İlgilenilen zaman aralığı, şu şekilde gösterilir: {StartTime: <string>, EndTime: <string>}
• Özellik Filtreleri – Kabul edilebilir maksimum bulut örtüsüne ilişkin spesifikasyonlar gibi tamamlayıcı özellik filtreleri de dahil edilebilir

Aşağıdaki örnek, Landsat 8 verilerinin API aracılığıyla nasıl sorgulanabileceğini göstermektedir:

search_params = {
    "Arn": "arn:aws:sagemaker-geospatial:us-west-2:378778860802:raster-data-collection/public/gmqa64dcu2g9ayx1", # NASA/USGS Landsat
    "RasterDataCollectionQuery": {
        "AreaOfInterest": {
            "AreaOfInterestGeometry": {
                "PolygonGeometry": {
                    "Coordinates": coordinates
                }
            }
        },
        "TimeRangeFilter": {
            "StartTime": "2014-01-01T00:00:00Z",
            "EndTime": "2020-12-31T23:59:59Z",
        },
        "PropertyFilters": {
            "Properties": [{"Property": {"EoCloudCover": {"LowerBound": 0, "UpperBound": 20.0}}}],
            "LogicalOperator": "AND",
        }
    },
}

response = geospatial_client.search_raster_data_collection(**search_params)

Büyük ölçekli uydu verilerini işlemek için Gramener şunları kullandı: Amazon SageMaker İşleme Jeouzaysal konteyner ile. SageMaker Processing, tek bir şehir bloğunun işlenmesinden gezegen ölçeğinde iş yüklerinin yönetilmesine kadar değişen boyutlardaki görevleri karşılamak için bilgi işlem kümelerinin esnek ölçeklendirilmesine olanak tanır. Geleneksel olarak, bu tür görevler için bir bilgi işlem kümesinin manuel olarak oluşturulması ve yönetilmesi, özellikle coğrafi veri işlemeye uygun bir ortamın standartlaştırılmasındaki karmaşıklıklar nedeniyle hem maliyetli hem de zaman alıcıydı.

Artık SageMaker'daki özel coğrafi kapsayıcıyla, coğrafi işleme için kümeleri yönetmek ve çalıştırmak daha kolay hale geldi. Bu süreç minimum düzeyde kodlama çabası gerektirir: yalnızca iş yükünü tanımlarsınız, coğrafi uzamsal verilerin konumunu belirtirsiniz. Amazon Basit Depolama Hizmeti (Amazon S3) ve uygun coğrafi kapsayıcıyı seçin. SageMaker Processing daha sonra gerekli küme kaynaklarını otomatik olarak sağlayarak, şehir seviyesinden kıta seviyesine kadar değişen ölçeklerde coğrafi görevlerin verimli bir şekilde yürütülmesini kolaylaştırır.

SageMaker, işleme işi için gereken temel altyapıyı tam olarak yönetir. Küme kaynaklarını iş süresince tahsis eder ve iş tamamlandıktan sonra bunları kaldırır. Son olarak işleme işinin sonuçları belirlenen S3 klasörüne kaydedilir.

Jeo-uzaysal görüntüyü kullanan bir SageMaker İşleme işi, jeo-uzaysal not defterinden aşağıdaki şekilde yapılandırılabilir:

from sagemaker import get_execution_role
from sagemaker.sklearn.processing import ScriptProcessor
from sagemaker.processing import ProcessingInput, ProcessingOutput

execution_role_arn = get_execution_role()

geospatial_image_uri = '081189585635.dkr.ecr.us-west-2.amazonaws.com/sagemaker-geospatial-v1-0:latest'
processor = ScriptProcessor(
    command=['python3'],
    image_uri=geospatial_image_uri,
    role=execution_role_arn,
    instance_count=20,
    instance_type='ml.m5.xlarge',
    base_job_name='geospatial-processing-spectral-indices'
)

Instance_count parametresi, işleme işinin kaç örnek kullanması gerektiğini, example_type ise ne tür bir örnek kullanılması gerektiğini tanımlar.

Aşağıdaki örnek, bir Python betiğinin işleme iş kümesinde nasıl çalıştırıldığını gösterir. Run komutu çağrıldığında küme başlatılır ve gerekli küme kaynaklarını otomatik olarak sağlar:

processor.run(
    code='calculate_variables.py',
    inputs=[
        ProcessingInput(
            source=s3_manifest_url,
            destination='/opt/ml/processing/input_data/',
            s3_data_type="ManifestFile",
            s3_data_distribution_type="ShardedByS3Key"
        ),
    ],
    outputs=[
        ProcessingOutput(
            source='/opt/ml/processing/output_data/',
            destination=s3_output_prefix_url
        )
    ]
)

Uzamsal modelleme ve LST tahminleri

İşleme işinde, atmosferin üst spektral parlaklığı, parlaklık sıcaklığı ve Landsat 8'den gelen yansıma dahil olmak üzere bir dizi değişken hesaplanır. Ayrıca taban alanı oranı (FAR), şantiye alanı kapsamı, yapı bloğu kapsamı ve Shannon Entropi Değeri gibi morfolojik değişkenler de hesaplanır.

Aşağıdaki kod bu bant aritmetiğinin nasıl gerçekleştirilebileceğini göstermektedir:

def calculate_ndvi(nir08, red): 
    return (nir08 - red) / (nir08 + red) 
 
def calculate_ndbi(swir16, nir08): 
    return (swir16 - nir08) / (swir16 + nir08) 
 
def calculate_st(bt): 
    return ((bt * 0.00341802) + 149.0) - 273 
 
def indices_calc(data): 
    with concurrent.futures.ThreadPoolExecutor() as executor: 
        ndvi_future = executor.submit(calculate_ndvi, data.sel(band="SR_B5"), data.sel(band="SR_B4")) 
        ndbi_future = executor.submit(calculate_ndbi, data.sel(band="SR_B6"), data.sel(band="SR_B5")) 
        st_future = executor.submit(calculate_st, data.sel(band="ST_B10")) 
 
        ndvi = ndvi_future.result() 
        ndbi = ndbi_future.result() 
        st = st_future.result() 
 
    ndvi.attrs = data.attrs 
    ndbi.attrs = data.attrs 
    st.attrs = data.attrs 
 
    return ndvi, ndbi, st 

Değişkenler hesaplandıktan sonra verileri ızgaraya göre toplamak için bölgesel istatistikler gerçekleştirilir. Bu, her bir bölgedeki ilgilenilen değerlere dayalı olarak istatistiklerin hesaplanmasını içerir. Bu hesaplamalar için yaklaşık 100 metrelik bir ızgara boyutu kullanılmıştır.

def process_iteration(st, ndvi, ndmi, date, city_name): 
    datacube['st'] = (st.dims, st.values) 
    datacube['ndvi'] = (ndvi.dims, ndvi.values) 
    datacube['ndmi'] = (ndmi.dims, ndmi.values) 
    df = datacube.groupby("id").mean().to_dataframe().reset_index() 
    merged_grid = hexgrid_utm.join(df, on='id', how='left', lsuffix='_')[['id', 'hex_id', 'geometry', 'st', 'ndvi', 'ndmi']] 
    merged_grid.to_file(f"{DATA}/{city_name}/{city_name}_outputs_{date}.geojson", driver='GeoJSON') 
    print("Working on:", date) 
 
def iterative_op(city_json, st, ndvi, ndmi, city_name): 
    with concurrent.futures.ThreadPoolExecutor() as executor: 
        futures = [ 
            executor.submit(process_iteration, st[i], ndvi[i], ndmi[i], date, city_name) 
            for i, _ in enumerate(city_json.time) 
            for date in city_json.date 
        ] 
        for future in concurrent.futures.as_completed(futures): 
            future.result() 
 
    print('Process completed') 

Veriler toplandıktan sonra mekansal modelleme gerçekleştirilir. Gramener, gözlemlerdeki mekansal bağımlılığı hesaba katmak için doğrusal regresyon ve mekansal sabit etkiler gibi mekansal regresyon yöntemlerini kullandı. Bu yaklaşım, değişkenler ile LST arasındaki ilişkinin mikro düzeyde modellenmesini kolaylaştırır.

Aşağıdaki kod, bu tür mekansal modellemenin nasıl çalıştırılabileceğini göstermektedir:

features = [ 
    'ndvi', 
    'ndbi', 
    'st', 
    'build_count', 
    'bbc' 
] 
 
def compute_spatial_weights(df, k=8): 
    knn = KNN.from_dataframe(df, k=k) 
    return df[features].apply(lambda y: weights.spatial_lag.lag_spatial(knn, y)).rename(columns=lambda c: 'w_' + c) 
 
def ordinary_least_squares(df_year, spatial=False): 
    formula = f"lst ~ {' + '.join(features)}"  
    if spatial: 
        df_year = df_year.join(compute_spatial_weights(df_year)) 
        formula += f" + {' + '.join(['w_' + f for f in features])}"  
     
    return smf.ols(formula, data=df_year).fit() 
 
def process(df, year): 
    df_year = pd.merge(df[df['year'] == year].fillna(0), grids[['idx', 'name']], on='idx') 
    ols_model = ordinary_least_squares(df_year) 
    ols_spatial_model = ordinary_least_squares(df_year, spatial=True) 
    ols_spatial_fe_model = ordinary_least_squares(df_year, spatial=True) 
     
    return { 
        'year': year, 
        'ols_model': ols_model, 
        'ols_spatial_model': ols_spatial_model, 
        'ols_spatial_fe_model': ols_spatial_fe_model, 
        'ols_r2': [ols_model.rsquared, ols_spatial_model.rsquared, ols_spatial_fe_model.rsquared] 
    } 

Gramener, LST değerlerini tahmin etmek için üstel düzeltmeyi kullandı. Üstel düzeltme, ağırlıkların zaman içinde üstel olarak azalmasıyla, geçmiş verilere ağırlıklı ortalamalar uygulayan zaman serisi tahmini için etkili bir yöntemdir. Bu yöntem özellikle eğilimleri ve kalıpları belirlemek için verileri yumuşatmada etkilidir. Üstel düzeltmeyi kullanarak, LST eğilimlerini daha yüksek bir hassasiyetle görselleştirmek ve tahmin etmek mümkün hale gelir ve böylece geçmiş modellere dayalı olarak gelecekteki değerlere ilişkin daha doğru tahminler yapılmasına olanak sağlanır.

Tahminleri görselleştirmek için Gramener, model tahminlerini bir temel harita üzerine yerleştirmek için açık kaynaklı jeo-uzamsal kütüphanelere sahip SageMaker jeo-uzamsal not defterini kullandı ve jeo-uzaysal veri kümelerinin doğrudan not defteri içinde katmanlı görselleştirilmesini sağladı.

Sonuç

Bu gönderi, Gramener'ın müşterilerini sürdürülebilir kentsel ortamlar için veriye dayalı kararlar alma konusunda nasıl güçlendirdiğini gösterdi. Gramener, SageMaker ile KSE analizinde önemli miktarda zaman tasarrufu sağlayarak işlem süresini haftalardan saatlere indirdi. Bu hızlı içgörü oluşturma, Gramener müşterilerinin KSE azaltma stratejileri gerektiren alanları tespit etmelerine, KSE'yi en aza indirmek için kentsel gelişim ve altyapı projelerini proaktif olarak planlamalarına ve kapsamlı risk değerlendirmesi için çevresel faktörlere ilişkin bütünsel bir anlayış kazanmalarına olanak tanır.

SageMaker ile sürdürülebilirlik projelerinize Dünya gözlem verilerini entegre etmenin potansiyelini keşfedin. Daha fazla bilgi için bkz. Amazon SageMaker'ın coğrafi özelliklerini kullanmaya başlayın.

Yazarlar Hakkında

Abhishek Mittal Amazon Web Services'in (AWS) dünya çapındaki kamu sektörü ekibinin Çözüm Mimarı olup, öncelikle farklı sektörlerdeki ISV iş ortaklarıyla birlikte çalışarak onlara ölçeklenebilir mimari oluşturma ve AWS hizmetlerinin benimsenmesini teşvik edecek stratejiler uygulama konusunda mimari rehberlik sağlar. Geleneksel platformları ve bulut güvenliğini modernleştirme konusunda tutkulu. İş dışında seyahat tutkunu.

Janosch Woschitz AWS'de AI/ML konusunda uzmanlaşmış Kıdemli Çözüm Mimarıdır. 15 yılı aşkın deneyimiyle, yenilikçi çözümler için yapay zeka ve makine öğreniminden yararlanma ve AWS'de makine öğrenimi platformları oluşturma konusunda dünya çapındaki müşterilerini destekliyor. Uzmanlığı makine öğrenimi, veri mühendisliği ve ölçeklenebilir dağıtılmış sistemleri kapsamaktadır; yazılım mühendisliğindeki güçlü geçmişi ve otonom sürüş gibi alanlardaki endüstri uzmanlığıyla da desteklenmektedir.

Shravan Kumar İş Analitiği, Veri Evangelizmi ve derin Müşteri İlişkileri oluşturma konularında on yıllık deneyime sahip olan Gramener'de Müşteri başarısı Kıdemli Direktörüdür. Veri analitiği, AI ve ML alanında Müşteri Yönetimi, Hesap Yönetimi konularında sağlam bir temele sahiptir.

Avirat S Gramener'da coğrafi verilerden içgörüler elde etmek için AI/ML'den yararlanan bir jeo-uzamsal veri bilimcisidir. Uzmanlığı afet yönetimi, tarım ve kentsel planlama alanlarındadır ve analizleri karar alma süreçlerine bilgi vermektedir.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://aws.amazon.com/blogs/machine-learning/understanding-and-predicting-urban-heat-islands-at-gramener-using-amazon-sagemaker-geospatial-capabilities/