Het aanmaken van continentale gewastypekaarten met openEO
Voor het aanmaken van continentale kaarten om landbouwproductie te monitoren, heb je enorme hoeveelheden aardobservatiegegevens nodig, alsook een professionele en geschikte omgeving om de gegevens te verwerken en de informatie die je nodig hebt eruit te filteren. In deze use case leggen we uit hoe u openEO kunt gebruiken om continentale gewastypekaarten te produceren.
Ontdek meer over de mogelijkheden, opzet en uitdagingen waaronder het verzamelen van trainingsgegevens, rekenkracht, DevOps-technieken, parallelle verwerking, FAIR-principes, datacatalogi en reproduceerbaarheid.
De workflow voor het in kaart brengen van gewastypes
Terrascope maakt deel uit van het openEO platform waardoor het eenvoudiger en betaalbaarder wordt om grote hoeveelheden aardobservatiegegevens te verwerken en te analyseren. Door gebruik te maken van gestandaardiseerde interfaces, kan je data uit verschillende bronnen benaderen en verwerken, en hetzelfde algoritme ook op verschillende cloudplatformen laten draaien, onafhankelijk van enige specifieke technologie.
De workflow voor het karteren van gewastypes, die door VITO Remote Sensing ontwikkeld werd, is een van de voorbeelden die het openEO platform demonstreert. Het maakt gebruik van verschillende soorten invoergegevens en een machine learning-model. De workflow bestaat uit twee delen: preprocessing en inferentie.
Preprocessing en inferentie
In het voorverwerkingsgedeelte worden gegevens verzameld over een periode van 8 maanden uit verschillende bronnen, waaronder WorldCover data, Sentinel-2 L2-gegevens, Sentinel-1 GRD-gegevens en Copernicus 30m DEM-gegevens.
- De WorldCover-gegevens WorldCover-gegevens worden gebruikt om een binair masker te maken, waarbij alleen pixels die de landbouw vertegenwoordigen worden behouden, om ervoor te zorgen dat alleen relevante pixels verder verwerkt worden.
- De Sentinel-2 L2A gegevens (atmosferisch gecorrigeerd) worden gemaskeerd en omgezet in 10-daagse mediaancomposieten, waarbij de resterende gaten worden opgevuld met behulp van lineaire interpolatie.
- De Sentinel-1 GRD egevens worden omgezet in sigma0 backscatter, en er worden 10-daagse mediane composieten afgeleid.
- De Copernicus 30m DEM gegevens worden ook toegevoegd, en al deze gegevens worden uitgelijnd op hetzelfde raster en gecombineerd tot één datakubus.
In het tweede gedeelte van de workflow wordt de voorbewerkte datakubus ingevoerd in een machine learning-model. Het model neemt de evolutie van een pixel door de tijd als invoer en houdt geen rekening met de ruimtelijke context aangezien meerdere banden en het temporele profiel in dit geval voldoende waren. Het model produceert vervolgens een kaart die het gewastype voor elke pixel in de datakubus in kaart brengt.
OpenEO om workflow- en machine learning-modellen uit te voeren
Om workflows via openEO uit te voeren, moeten de algoritmen worden vertaald in technologie-agnostische openEO-workflows, ‘procesgrafieken’ genoemd. In dit geval is de workflow ontwikkeld in Python.
Hoewel de resulterende code eruitziet als elk ander algoritme, vermindert openEO de hoeveelheid Python-code door alle complexiteit (bv. het vinden van gegevens, efficiënt lezen, omgaan met overlap, backscatter-berekening, het samenstellen) aan de back-end af te handelen.
Dit is een enorm voordeel in termen van reproduceerbaarheid en open science: voor datawetenschappers die de code moeten onderhouden en reviewers die de code moeten begrijpen om de methodologie te analyseren of resultaten te reproduceren.
OpenEO werd ook gebruikt om een machine learning-model uit te voeren op basis van PyTorch. We gebruikten de door de gebruiker gedefinieerde functies van openEO om willekeurige Python-code uit te voeren die XArray-gegevensstructuren transformeert als onderdeel van de openEO-workflow. Hoewel openEO meer dan 100 vooraf gedefinieerde functies bevat, hebben we nog steeds door de gebruiker gedefinieerde (user-defined) functies nodig om zaken als deep learning, die nog niet gestandaardiseerd zijn, te implementeren. Door deze user-defined code toe te staan, wordt het aantal use-cases dat in openEO kan worden vertaald aanzienlijk uitgebreid. Bovendien is het ook handig voor gevallen waarin een volledige vertaling naar vooraf gedefinieerde openEO-functies duur zou zijn. Over het algemeen demonstreert dit de flexibiliteit en aanpasbaarheid van openEO bij het ondersteunen van een breed scala aan use-cases waarbij er gewerkt wordt met grootschalige aardobservatiegegevens.
Beeldverwerking op grote schaal
Het openEO-platform maakt het mogelijk om de grootschalige verwerking op meerdere infrastructuren uit te voeren, waaronder Terrascope. Dit biedt een redelijke hoeveelheid bandbreedte en verzekert de voortzetting van de verwerking, zelfs als een backend problemen ondervindt. Het concept wordt ‘federated processing of gefedereerde verwerking’ genoemd en is ook een sleutelelement in Destination Earth, een onderdeel van de Europese digitale strategie van de EU. Ontdek meer over hoe we de daadwerkelijke verwerking hebben opgezet en uitgevoerd in dit document.
Beschikbaar in de openEO editor
De continentale gewastypekaart, geproduceerd via openEO, bestaat uit meer dan 11.000 voor de cloud geoptimaliseerde Geotiff-bestanden, die vergezeld gaan van STAC-metadata die links bevat naar invoerproducten voor herkomst.
Het beheren en inspecteren van zo’n grote hoeveelheid gegevens is echter een uitdaging. Daarom zoekt het team van het openEO-platform naar manieren om automatische publicatie in een STAC-catalogus mogelijk te maken en naar weergaveservices om de resultaten op grote schaal te kunnen inspecteren.
De definitieve kaart is beschikbaar als een experimentele verzameling in het openEO-platform en kan worden bekeken in de openEO editor. Deze continentale gewastypekaart is alleen gemaakt voor demonstratiedoeleinden, dus houd er rekening mee dat er nog enkele problemen moeten opgelost worden voordat ze gebruikt kan worden in operationele diensten. Het doel is om de kaart eind 2023 te vervangen door een nauwkeurigere versie.
11.000
openEO produceerde meer dan 11.000 tegels van 20 bij 20km
6
De gewastypekaart toond 6 geclassificeerde gewascategorieën
91.000
Er werden al meer dan 91K cpu-uren besteed aan het produceren en testen van deze workflow op het platform.
Producten en diensten
openEO
Met het openEO-platform kunt u gegevens uit verschillende bronnen benaderen en verwerken, alsook hetzelfde algoritme op verschillende cloudplatforms uitvoeren.
WorldCover
De WorldCover gegevens worden gebruikt om een binair masker te maken, waarbij enkel pixels worden behouden die de landbouw vertegenwoordigen, om ervoor te zorgen dat alleen relevante pixels verder verwerkt worden.
Sentinel data
Sentinel-2 L2A-gegevens en Sentinel-1 GRD-gegevens werden ook gebruikt in het voorverwerkingsgedeelte.
