Cartographie continentale des types de cultures avec openEO
Lors de la production de cartes continentales pour surveiller par ex. la production agricole, vous avez besoin de quantités massives de données d’observation de la terre, et vous avez également besoin d’un environnement professionnel et adapté pour traiter facilement les données et récupérer les information dont vous avez besoin.
Dans ce cas, nous vous expliquons comment vous pouvez utiliser openEO pour produire des cartes continentales des types de cultures. Découvrez-en plus sur les possibilités, la configuration et les défis à relever, y compris la collecte de données de formation, la puissance de calcul, les techniques DevOps, le traitement parallèle, les principes FAIR, les catalogues de données, la reproductibilité.
Le flux de travail de cartographie des types de cultures
Terrascope est membre de la plateforme openEO, qui facilite et rend plus abordable le traitement et l’analyse de grandes quantités de données d’observation de la Terre. En utilisant des interfaces standardisées, vous pouvez accéder et traiter des données provenant de diverses sources et exécuter le même algorithme sur différentes plates-formes cloud, indépendamment de toute technologie spécifique.
Ce flux de travail de cartographie des types de cultures développé par VITO Remote Sensing est un exemple que nous avons mis en œuvre pour démontrer cette plate-forme basée sur des normes. Il utilise différents types d’entrées de données et un modèle d’apprentissage automatique. Le flux de travail est implémenté en deux parties, appelées prétraitement et inférence.
Prétraitement et inférence
Dans la partie de prétraitement, les données sont collectées sur une période de 8 mois à partir de diverses sources, notamment les données WorldCover, les données Sentinel-2 L2A, les données Sentinel-1 GRD et les données Copernicus 30m DEM.
- Les données WorldCover sont utilisées pour créer un masque binaire, ne conservant que les pixels qui représentent l’agriculture, pour s’assurer que seuls les pixels pertinents sont traités ultérieurement.
- Les données Sentinel-2 L2A (atmosphériquement corrigées) sont masquées par les nuages et converties en composites médians sur 10 jours, les lacunes restantes étant comblées à l’aide d’une interpolation linéaire.
- Les données Sentinel-1 GRD sont converties en rétrodiffusion sigma0 et des composites médians sur 10 jours sont dérivés.
- Les données Copernicus 30m DEM sont également ajoutées, et toutes ces données sont alignées sur la même grille et combinées en un seul cube de données.
Dans la deuxième partie d’inférence, le cube de données prétraité est entré dans un modèle d’apprentissage automatique. Le modèle prend en entrée l’évolution d’un pixel dans le temps et ne tient pas compte du contexte spatial, car avoir plusieurs bandes et le profil temporel étaient suffisants dans ce cas. Le modèle produit ensuite un résultat qui cartographie le type de culture pour chaque pixel du cube de données.
Utilisation d’openEO pour exécuter des modèles de flux de travail et d’apprentissage automatique
Pour exécuter des flux de travail sur openEO, les algorithmes doivent être traduits en flux de travail openEO indépendants de la technologie, appelés ‘graphiques de processus’. Dans ce cas, le flux de travail a été développé en Python. Bien que le code résultant ressemble à n’importe quel autre algorithme, openEO réduit la quantité de code Python en gérant toute la complexité (par exemple, la recherche de données, la lecture efficace, la gestion du chevauchement, le calcul de la rétrodiffusion, la composition) du côté du backend.
Il s'agit d'un avantage considérable en termes de reproductibilité et de science ouverte pour les data scientistes qui ont besoin de maintenir le code et les réviseurs qui ont besoin de comprendre le code pour analyser la méthodologie ou reproduire les résultats.
OpenEO a également été utilisé pour exécuter un modèle d’apprentissage automatique basé sur PyTorch. Nous avons utilisé les ‘fonctions définies par l’utilisateur’ openEO pour exécuter du code Python arbitraire qui transforme les structures de données XArray dans le cadre du flux de travail openEO. Alors que openEO contient plus de 100 fonctions prédéfinies, nous avons toujours besoin de fonctions définies par l’utilisateur pour implémenter des cas comme l’apprentissage en profondeur qui n’ont pas encore été standardisés. Autoriser le code défini par l’utilisateur augmente considérablement le nombre de cas d’utilisation pouvant être traduits en openEO et est également pratique pour les cas où une traduction complète en fonctions prédéfinies d’openEO serait coûteuse. Dans l’ensemble, cela démontre la flexibilité et d’adaptabilité d’openEO dans la prise en charge d’un large éventail de cas d’utilisation pour travailler avec des données d’observation de la Terre à grande échelle.
Traitement à grande échelle
The openEO platform makes it possible to run the large scale processing on multiple infrastructures, including Terrascope. This gives a reasonable amount of bandwidth and ensures the continuation of the processing even if one backend experiences issues. This concept is referred to as ‘federated processing’, and is also a key element in Destination Earth, a part of the European Union digital strategy. More details on how we setup and performed the actual processing can be found in this document.
La plate-forme openEO permet d’exécuter le traitement à grande échelle sur plusieurs infrastructures, y compris Terrascope. Cela donne une quantité raisonnable de bande passante et garantit la poursuite du traitement même si un backend rencontre des problèmes.
Ce concept est appelé ‘traitement fédéré’ et constitue également un élément clé de Destination Earth, qui fait partie de la stratégie numérique de l'Union européenne. Pour tous ceux qui souhaitent obtenir plus de détails sur la façon dont nous avons configuré et effectué le traitement proprement dit, regarde ce document.
Disponible dans l’éditeur openEO
La carte continentale des types de cultures produite via openEO se compose de plus de 11.000 fichiers Geotiff optimisés pour le cloud, qui sont accompagnés de métadonnées STAC qui contiennent des liens vers des produits d’entrée pour la provenance.
Cependant, la gestion et l’inspection d’un tel volume de données est un défi, c’est pourquoi l’équipe de la plate-forme openEO explore les moyens de permettre la publication automatique d’un STAC et de mettre en place des services de visualisation pour inspecter les résultats à grande échelle.
La carte finale est disponible en tant que collection expérimentale sur la plateforme openEO et peut être visualisée dans l'éditeur openEO editor. Cette carte continentale des types de cultures a été créée à des fins de démonstration uniquement. Il convient donc de garder à l'esprit que certains problèmes doivent encore être résolus avant qu'elle ne puisse être utilisée dans les services opérationnels. L’objectif est de remplacer la carte par une version plus précise d’ici fin 2023.
11 000
openEO a produit plus de 11. 000 tuiles de 20 par 20 km.
6
La carte des types de cultures montre 6 catégories de cultures classées.
91,000
Plus de 91K heures de processeur ont été consacrées à la plate-forme pour la production et les tests de ce flux de travail.
Produits et services
openEO
La plate-forme openEO vous permet d’accéder et de traiter des données provenant de diverses sources et également d’exécuter le même algorithme sur différentes plates-formes cloud.
WorldCover
Les données WorldCover sont utilisées pour créer un masque binaire, ne retenant que les pixels représentant l’agriculture, afin de s’assurer que seuls les pixels pertinents sont traités ultérieurement.
Les données Sentinel
Les données Sentinel-2 L2A et Sentinel-1 GRD ont également été utilisées dans la partie prétraitement.
