Zephyrnet-logo

Bouw een agronomisch gegevensplatform met georuimtelijke mogelijkheden van Amazon SageMaker

Datum:

De wereld loopt een steeds groter risico op een mondiaal voedseltekort als gevolg van geopolitieke conflicten, verstoringen van de toeleveringsketen en klimaatverandering. Tegelijkertijd is er een toename van de totale vraag als gevolg van de bevolkingsgroei en veranderende diëten die zich richten op voedsel dat rijk is aan voedingsstoffen en eiwitten. Om aan de overmatige vraag te voldoen, moeten boeren de gewasopbrengst maximaliseren en hun activiteiten op grote schaal effectief beheren, met behulp van precisielandbouwtechnologie om voorop te blijven lopen.

Historisch gezien vertrouwden boeren bij het nemen van beslissingen op geërfde kennis, vallen en opstaan ​​en niet-prescriptief agronomisch advies. Belangrijke beslissingen zijn onder meer welke gewassen moeten worden geplant, hoeveel kunstmest er moet worden toegepast, hoe ongedierte moet worden bestreden en wanneer er moet worden geoogst. Maar nu de vraag naar voedsel toeneemt en de oogstopbrengst moet worden gemaximaliseerd, hebben boeren naast de overgeërfde kennis ook meer informatie nodig. Innovatieve technologieën zoals teledetectie, IoT en robotica hebben het potentieel om boeren te helpen voorbij de traditionele besluitvorming te komen. Datagestuurde beslissingen, gevoed door bijna realtime inzichten, kunnen boeren in staat stellen de kloof in de toegenomen vraag naar voedsel te dichten.

Hoewel boeren traditioneel handmatig gegevens over hun activiteiten hebben verzameld door apparatuur en opbrengstgegevens vast te leggen of aantekeningen te maken van veldobservaties, helpen bouwers van agronomische dataplatforms op AWS boeren samen met hun vertrouwde agronomische adviseurs die gegevens op grote schaal te gebruiken. Kleine velden en bewerkingen stellen een boer gemakkelijker in staat het hele veld te overzien om te zoeken naar problemen die het gewas beïnvloeden. Het is echter niet haalbaar om elk veld op frequente basis te verkennen voor grote velden en boerderijen, en succesvolle risicobeperking vereist een geïntegreerd agronomisch dataplatform dat inzichten op schaal kan opleveren. Deze platforms helpen boeren hun gegevens te begrijpen door informatie uit meerdere bronnen te integreren voor gebruik in visualisatie- en analysetoepassingen. Geospatiale gegevens, waaronder satellietbeelden, bodemgegevens, weer- en topografische gegevens, worden gecombineerd met gegevens die zijn verzameld door landbouwapparatuur tijdens het planten, het aanbrengen van voedingsstoffen en de oogst. Door inzichten te ontsluiten via verbeterde geospatiale data-analyse, geavanceerde datavisualisaties en automatisering van workflows via AWS-technologie, kunnen boeren specifieke gebieden van hun velden en gewassen identificeren die een probleem ondervinden en actie ondernemen om hun gewassen en activiteiten te beschermen. Deze actuele inzichten helpen boeren beter samen te werken met hun vertrouwde agronomen om meer te produceren, hun ecologische voetafdruk te verkleinen, hun winstgevendheid te verbeteren en hun land productief te houden voor de komende generaties.

In dit bericht bekijken we hoe u de gegenereerde voorspellingen kunt gebruiken Amazon SageMaker georuimtelijke mogelijkheden in een gebruikersinterface van een agronomisch dataplatform. Verder bespreken we hoe softwareontwikkelingsteams geavanceerde, op machine learning (ML) gebaseerde inzichten, waaronder algoritmen voor teledetectie, cloudmaskering (het automatisch detecteren van wolken in satellietbeelden) en geautomatiseerde beeldverwerkingspijplijnen, toevoegen aan hun agronomische dataplatforms. Samen helpen deze toevoegingen agronomen, softwareontwikkelaars, ML-ingenieurs, datawetenschappers en teledetectieteams schaalbare, waardevolle besluitvormingsondersteunende systemen aan boeren te bieden. Dit bericht biedt ook een voorbeeld van een end-to-end-notebook en GitHub-repository dat de georuimtelijke mogelijkheden van SageMaker demonstreert, waaronder op ML gebaseerde segmentatie van landbouwvelden en vooraf getrainde georuimtelijke modellen voor de landbouw.

Het toevoegen van georuimtelijke inzichten en voorspellingen aan agronomische dataplatforms

Gevestigde wiskundige en agronomische modellen gecombineerd met satellietbeelden maken visualisatie van de gezondheid en status van een gewas mogelijk per satellietbeeld, pixel voor pixel, in de loop van de tijd. Deze gevestigde modellen vereisen echter toegang tot satellietbeelden die niet worden gehinderd door wolken of andere atmosferische interferentie die de kwaliteit van het beeld vermindert. Zonder het identificeren en verwijderen van wolken uit elk verwerkt beeld zullen voorspellingen en inzichten aanzienlijke onnauwkeurigheden bevatten en zullen agronomische dataplatforms het vertrouwen van de boer verliezen. Omdat aanbieders van agronomische dataplatforms gewoonlijk klanten bedienen die duizenden akkers in verschillende geografische gebieden omvatten, hebben agronomische dataplatforms computervisie en een geautomatiseerd systeem nodig om wolken of andere atmosferische problemen binnen elk satellietbeeld te analyseren, identificeren en eruit te filteren voordat ze verder worden verwerkt of analyses worden aangeboden. aan klanten.

Het ontwikkelen, testen en verbeteren van ML-computervisiemodellen die wolken en atmosferische problemen in satellietbeelden detecteren, brengt uitdagingen met zich mee voor bouwers van agronomische dataplatforms. Ten eerste vergt het bouwen van datapijplijnen om satellietbeelden op te nemen tijd, middelen voor softwareontwikkeling en IT-infrastructuur. Elke aanbieder van satellietbeelden kan sterk van elkaar verschillen. Satellieten verzamelen vaak beelden met verschillende ruimtelijke resoluties; resoluties kunnen variëren van vele meters per pixel tot beelden met een zeer hoge resolutie, gemeten in centimeters per pixel. Bovendien kan elke satelliet beelden verzamelen met verschillende multispectrale banden. Sommige banden zijn grondig getest en vertonen een sterke correlatie met plantontwikkeling en gezondheidsindicatoren, terwijl andere banden voor de landbouw irrelevant kunnen zijn. Satellietconstellaties bezoeken dezelfde plek op aarde in verschillende snelheden opnieuw. Kleine sterrenbeelden kunnen een veld elke week of vaker opnieuw bezoeken, en grotere sterrenbeelden kunnen hetzelfde gebied meerdere keren per dag bezoeken. Deze verschillen in satellietbeelden en frequenties leiden ook tot verschillen in API-mogelijkheden en -functies. Gecombineerd betekenen deze verschillen dat agronomische dataplatforms mogelijk meerdere datapijplijnen met complexe opnamemethoden moeten onderhouden.

Ten tweede moeten deze teams, nadat de beelden zijn opgenomen en beschikbaar zijn gesteld aan teledetectieteams, datawetenschappers en agronomen, zich bezighouden met een tijdrovend proces van toegang krijgen tot, verwerken en labelen van elke regio binnen elk beeld als bewolkt. Met duizenden velden verspreid over verschillende geografische gebieden, en meerdere satellietbeelden per veld, kan het etiketteringsproces een aanzienlijke hoeveelheid tijd in beslag nemen en moet het voortdurend worden getraind om rekening te houden met bedrijfsuitbreiding, nieuwe klantvelden of nieuwe beeldbronnen.

Geïntegreerde toegang tot Sentinel-satellietbeelden en gegevens voor ML

Door de geospatiale mogelijkheden van SageMaker te gebruiken voor de ontwikkeling van ML-modellen op afstand, en door gebruik te maken van satellietbeelden van de AWS-gegevensuitwisseling gemakkelijk toegankelijk publiek Amazon eenvoudige opslagservice (Amazon S3) bucket kunnen bouwers van agronomische dataplatforms op AWS hun doelen sneller en gemakkelijker bereiken. Uw S3-bucket beschikt altijd over de meest actuele satellietbeelden van Sentinel-1 en Sentinel-2, omdat Open Data Exchange en de Amazon Sustainability Data Initiative bieden u geautomatiseerde ingebouwde toegang tot satellietbeelden.

Het volgende diagram illustreert deze architectuur.

Het volgende diagram illustreert deze architectuur

De georuimtelijke mogelijkheden van SageMaker omvatten ingebouwde, vooraf getrainde diepe neurale netwerkmodellen zoals landgebruikclassificatie en cloudmaskering, met een geïntegreerde catalogus van georuimtelijke gegevensbronnen, waaronder satellietbeelden, kaarten en locatiegegevens van AWS en derden. Met een geïntegreerde geospatiale datacatalogus hebben geospatiale klanten van SageMaker gemakkelijker toegang tot satellietbeelden en andere geospatiale datasets die de last van het ontwikkelen van complexe data-opnamepijplijnen wegnemen. Deze geïntegreerde datacatalogus kan uw eigen modelbouw en de verwerking en verrijking van grootschalige geospatiale datasets versnellen met speciaal gebouwde bewerkingen zoals tijdstatistieken, resampling, mozaïeken en omgekeerde geocodering. De mogelijkheid om eenvoudig beelden van Amazon S3 op te nemen en geospatiale, vooraf getrainde ML-modellen van SageMaker te gebruiken die automatisch wolken identificeren en elk Sentinel-2-satellietbeeld een score geven, maakt de noodzaak weg om teams voor teledetectie, agronomie en datawetenschap in te schakelen om de gegevens op te nemen, te verwerken en te analyseren. handmatig duizenden satellietbeelden labelen met bewolkte gebieden.

De geospatiale mogelijkheden van SageMaker ondersteunen de mogelijkheid om een ​​interessegebied (AOI) en een tijdstip van interesse (TOI) te definiëren, binnen het Open Data Exchange S3-bucketarchief te zoeken naar afbeeldingen met een georuimtelijk snijpunt dat aan het verzoek voldoet, en afbeeldingen in ware kleuren terug te sturen, Genormaliseerde Difference Vegetation Index (NDVI), wolkendetectie en scores, en landbedekking. NDVI is een veelgebruikte index die wordt gebruikt bij satellietbeelden om de gezondheid van gewassen te begrijpen door metingen van de hoeveelheid chlorofyl en fotosynthetische activiteit te visualiseren via een nieuw verwerkt en kleurgecodeerd beeld.

Gebruikers van de geospatiale mogelijkheden van SageMaker kunnen de vooraf gebouwde NDVI-index gebruiken of hun eigen index ontwikkelen. De georuimtelijke mogelijkheden van SageMaker maken het voor datawetenschappers en ML-ingenieurs gemakkelijker om ML-modellen sneller en op schaal te bouwen, trainen en implementeren met behulp van georuimtelijke gegevens en met minder inspanning dan voorheen.

Boeren en agronomen hebben snelle toegang nodig tot inzichten in het veld en thuis

Het snel leveren van verwerkte beelden en inzichten aan boeren en belanghebbenden is belangrijk voor de landbouwbedrijven en de besluitvorming in het veld. Door gebieden met een slechte gewasgezondheid op elk perceel tijdens kritieke tijdsperioden te identificeren, kan de boer de risico's beperken door waar nodig meststoffen, herbiciden en pesticiden toe te passen, en zelfs gebieden identificeren met potentiële oogstverzekeringsclaims. Het is gebruikelijk dat agronomische dataplatforms een reeks applicaties omvatten, waaronder webapplicaties en mobiele applicaties. Deze applicaties bieden intuïtieve gebruikersinterfaces waarmee boeren en hun vertrouwde belanghebbenden elk van hun velden en afbeeldingen veilig kunnen bekijken terwijl ze thuis, op kantoor of op het veld zelf staan. Deze web- en mobiele applicaties moeten echter verwerkte beelden en agronomische inzichten via API's verwerken en snel weergeven.

Amazon API-gateway maakt het voor ontwikkelaars gemakkelijk om RESTful- en WebSocket-API's op schaal te creëren, publiceren, onderhouden, monitoren en beveiligen. Met API-gateway, API-toegang en -autorisatie zijn geïntegreerd met AWS-identiteitstoegangsbeheer (IAM), en biedt native OIDC- en OAuth2-ondersteuning, evenals Amazon Cognito. Amazon Cognito is een kosteneffectieve klantidentiteits- en toegangsbeheerservice (CIAM) die een veilige identiteitsopslag ondersteunt met federatieopties die kunnen worden geschaald naar miljoenen gebruikers.

Ruwe, onverwerkte satellietbeelden kunnen zeer groot zijn, in sommige gevallen honderden megabytes of zelfs gigabytes per beeld. Omdat veel landbouwgebieden in de wereld slechte of geen mobiele connectiviteit hebben, is het belangrijk om beelden en inzichten in kleinere formaten te verwerken en aan te bieden, en op manieren die de vereiste bandbreedte beperken. Daarom door gebruik te maken van AWS Lambda Om een ​​tegelserver in te zetten, kunnen kleinere GeoTIFF's, JPEG's of andere afbeeldingsformaten worden geretourneerd op basis van de huidige kaartweergave die aan een gebruiker wordt weergegeven, in tegenstelling tot veel grotere bestandsgroottes en typen die de prestaties verminderen. Door een via Lambda-functies geïmplementeerde tegelserver te combineren met API Gateway om verzoeken voor web- en mobiele applicaties te beheren, kunnen boeren en hun vertrouwde belanghebbenden beeldmateriaal en georuimtelijke gegevens van één of honderden percelen tegelijk gebruiken, met verminderde latentie, en een optimale gebruikerservaring bereiken. ervaring.

De geospatiale mogelijkheden van SageMaker zijn toegankelijk via een intuïtieve gebruikersinterface waarmee u eenvoudig toegang kunt krijgen tot een rijke catalogus van geospatiale gegevens, gegevens kunt transformeren en verrijken, speciaal ontworpen modellen kunt trainen of gebruiken, modellen voor voorspellingen kunt inzetten en gegevens kunt visualiseren en verkennen. geïntegreerde kaarten en satellietbeelden. Voor meer informatie over de geospatiale gebruikerservaring van SageMaker raadpleegt u Hoe Xarvio pijplijnen van ruimtelijke gegevens voor digitale landbouw versnelde met de geospatiale mogelijkheden van Amazon SageMaker.

Agronomische dataplatforms bieden verschillende gegevenslagen en inzichten op schaal

De volgende voorbeeldgebruikersinterface laat zien hoe een bouwer van agronomische dataplatforms inzichten kan integreren die worden geleverd door de geospatiale mogelijkheden van SageMaker.

SageMaker georuimtelijke mogelijkheden

Deze voorbeeldgebruikersinterface toont algemene geospatiale gegevensoverlays die worden gebruikt door boeren en belanghebbenden in de landbouw. Hier heeft de consument drie afzonderlijke gegevensoverlays geselecteerd. Ten eerste het onderliggende Sentinel-2-satellietbeeld in natuurlijke kleuren, gemaakt van oktober 2020, en beschikbaar gesteld via de geïntegreerde geospatiale datacatalogus van SageMaker. Deze afbeelding is gefilterd met behulp van het geospatiale, vooraf getrainde model van SageMaker dat bewolking identificeert. De tweede gegevensoverlay is een reeks veldgrenzen, weergegeven met een witte omtrek. Een veldgrens is gewoonlijk een veelhoek van lengte- en breedtegraadcoördinaten die de natuurlijke topografie van een landbouwveld weerspiegelt, of een operationele grens die onderscheid maakt tussen bouwplannen. De derde gegevensoverlay bestaat uit verwerkte beeldgegevens in de vorm van de Normalised Difference Vegetation Index (NDVI). Verder worden de NDVI-beelden over de betreffende veldgrens heen gelegd, en wordt aan de linkerkant van de pagina een NDVI-kleurclassificatiediagram weergegeven.

De volgende afbeelding toont de resultaten met behulp van een vooraf getraind model van SageMaker dat bewolking identificeert.

Vooraf getraind model van SageMaker dat bewolking identificeert

In deze afbeelding identificeert het model wolken binnen het satellietbeeld en past een geel masker toe over elke wolk binnen het beeld. Door gemaskeerde pixels (wolken) uit verdere beeldverwerking te verwijderen, hebben downstreamanalyses en producten de nauwkeurigheid verbeterd en waarde toegevoegd aan boeren en hun vertrouwde adviseurs.

In gebieden met een slechte mobiele dekking verbetert het verminderen van de latentie de gebruikerservaring

Om tegemoet te komen aan de behoefte aan lage latentie bij het evalueren van georuimtelijke gegevens en teledetectiebeelden, kunt u gebruik maken van Amazon ElastiCache om verwerkte afbeeldingen op te slaan die zijn opgehaald uit tegelverzoeken die via Lambda zijn gedaan. Door de gevraagde beelden op te slaan in een cachegeheugen, wordt de latentie verder verminderd en is het niet nodig om beeldverzoeken opnieuw te verwerken. Dit kan de applicatieprestaties verbeteren en de druk op databases verminderen. Omdat Amazon ElastiCache ondersteunt vele configuratieopties voor cachingstrategieën, replicatie tussen regio's en automatisch schalen. Aanbieders van agronomische dataplatforms kunnen snel opschalen op basis van applicatiebehoeften en kostenefficiëntie blijven bereiken door alleen te betalen voor wat nodig is.

Conclusie

Deze post concentreerde zich op de verwerking van georuimtelijke gegevens, het implementeren van ML-compatibele teledetectie-inzichten en manieren om de ontwikkeling en verbetering van agronomische dataplatforms op AWS te stroomlijnen en te vereenvoudigen. Het illustreerde verschillende methoden en diensten die bouwers van agronomische dataplatforms op AWS-services kunnen gebruiken om hun doelen te bereiken, waaronder SageMaker, Lambda, Amazon S3, Open Data Exchange en ElastiCache.

Als u een end-to-end voorbeeldnotebook wilt volgen dat de geospatiale mogelijkheden van SageMaker demonstreert, opent u het voorbeeldnotebook dat hieronder beschikbaar is GitHub-repository. U kunt bekijken hoe u landbouwvelden kunt identificeren via ML-segmentatiemodellen, of de reeds bestaande geospatiale modellen van SageMaker en de BYOM-functionaliteit (Bring Your Own Model) voor georuimtelijke taken zoals landgebruik en classificatie van landbedekking verkennen. Het end-to-end voorbeeldnotitieboekje wordt in detail besproken in het begeleidende bericht Hoe Xarvio pijplijnen van ruimtelijke gegevens voor digitale landbouw versnelde met Amazon SageMaker Geospatial.

Neem contact met ons op voor meer informatie over hoe de landbouwsector belangrijke problemen met betrekking tot de mondiale voedselvoorziening, traceerbaarheid en duurzaamheidsinitiatieven oplost door gebruik te maken van de AWS Cloud.


Over de auteurs

Zal Conrad is hoofd oplossingen voor de landbouwsector bij AWS. Hij heeft een passie voor het helpen van klanten bij het gebruik van technologie om het levensonderhoud van boeren, de milieu-impact van de landbouw en de consumentenervaring voor mensen die voedsel eten, te verbeteren. In zijn vrije tijd repareert hij dingen, speelt hij golf en neemt hij opdrachten aan van zijn vier kinderen.

Bishesh Adhikari is een Machine Learning Prototyping Architect bij het AWS Prototyping-team. Hij werkt samen met AWS-klanten om oplossingen te bouwen op basis van verschillende AI- en Machine Learning-gebruiksscenario's om hun traject naar productie te versnellen. In zijn vrije tijd houdt hij van wandelen, reizen en tijd doorbrengen met familie en vrienden.

Priyanka Mahankali is al meer dan 5 jaar Guidance Solutions Architect bij AWS en bouwt sectoroverschrijdende oplossingen, waaronder technologie voor wereldwijde landbouwklanten. Ze heeft een passie voor het op de voorgrond brengen van geavanceerde gebruiksscenario's en het helpen van klanten bij het bouwen van strategische oplossingen op AWS.

Ron Osborne is AWS Global Technology Lead for Agriculture – WWSO en een Senior Solution Architect. Ron richt zich op het helpen van AWS-klanten en -partners in de agribusiness bij het ontwikkelen en implementeren van veilige, schaalbare, veerkrachtige, elastische en kosteneffectieve oplossingen. Ron is een liefhebber van kosmologie, een gevestigde innovator binnen de landbouwtechnologie, en heeft een passie voor het positioneren van klanten en partners voor bedrijfstransformatie en duurzaam succes.

spot_img

Laatste intelligentie

spot_img