CDD Ingénieur Informaticien - Traitement de Données H/F - Ifremer

Rejoignez l'Ifremer pour un océan mieux compris, mieux protégé qui demeure un allié du bien-vivre sur la planète

Des abysses à la surface, de la côte au large, l'Ifremer est l'institut de recherche français entièrement dédié à l'Océan. Ses équipes mènent des recherches, innovent et produisent des expertises pour protéger l'océan, exploiter ses ressources de manière responsable et partager les données marines.

L'Ifremer apporte son expertise scientifique pour éclairer les politiques publiques et élabore des solutions puisées dans l'océan pour répondre aux enjeux de la transition écologique. Opérateur de la Flotte océanographique française avec sa filiale d'armement Genavir, l'Ifremer imagine, conçoit et déploie des moyens technologiques de pointe pour percer les mystères de l'océan.

Rejoignez nos équipes, composées de 1500 scientifiques et métiers supports à la recherche, et présentes sur tout le littoral métropolitain et en Outre-mer.

www.ifremer.fr

Le Laboratoire d'Océanographie Physique et Spatiale (LOPS) est une Unité Mixte de Recherche placée sous la tutelle du Centre National de la Recherche Scientifique (CNRS www.cnrs.fr), de l'Institut français de recherche pour l'exploitation de la mer (Ifremer www.ifremer.fr), de l'Institut de Recherche pour le Développement (IRD www.ird.fr) et de l'Université de Bretagne Occidentale (UBO www.univ-brest.fr). Il est également laboratoire de l'Institut Universitaire Européen de la Mer (IUEM). En tant qu'unité de recherche, le LOPS développe et participe à des programmes de recherche en océanographie qui contribuent au développement des connaissances sur la dynamique des océans à différentes échelles de temps et d'espace et qui étudient les relations de l'océan avec d'autres compartiments du système terrestre comme l'atmosphère, les glaces et les organismes vivants. Il participe également à la définition des moyens d'observation in situ et satellite, notamment par son laboratoire Satellites et Interface Air-Mer (LOPS-SIAM) qui élabore et diffuse via le centre de données CERSAT des produits de qualité à la communauté scientifique basés sur des observations satellite. L'utilisation pour ces domaines d'étude de bases de données massives requiert à la fois des moyens de stockage et de calcul distribué importants, disponibles en interne ou sur des plateformes de cloud computing externes, ainsi que la mise en oeuvre d'outils de traitement avancés tirant parti de ces ressources de façon optimale pour l'analyse et la combinaison des différentes sources d'observation, ou le retraitement d'archives pour la production de séries climatiques.

Missions principales

Avec un profil Ingénieur en Informatique/Traitement de données , il/elle aidera à la mise en place de chaînes de traitement et/ou de validation scientifique de données satellite, en particulier sur des mesures de vague et de vent de surface, ainsi qu'à la génération de séries longues climatiques de produits à destination des utilisateurs scientifiques.

Ces travaux s'inscriront notamment dans le cadre du projet ERS-SAR avec l'Agence Spatiale Européenne (ESA) dont la finalité est la génération et la dissémination vers la communauté scientifique d'une série longue de mesures de vagues produites avec des algorithmes innovants à partir d'observations des missions satellite historiques ERS-1 et ERS-2, mais aussi du projet COPAS avec l'agence EUMETSAT sur l'estimation et le suivi de la qualité des mesures vent et vague des missions Sentinel-3, Sentinel-6 et bientôt CRISTAL.

Activités principales

Dans le cadre de ce poste, le/la candidat(e) mettra en oeuvre l'intégration de processeurs scientifiques en python dans linfrastructure de calcul d'Ifremer Datarmor, et leur orchestration soit pour de la production en flux continu au fil des acquisitions satellite (avec le gestionnaire de workflow Airflow) soit pour des retraitements massifs sur des archives satellite complètes. Il aidera à la mise en place de solutions pour la validation scientifique des données produites : récupération et qualification de données de référence comme des mesures in situ (bouées), croisement des mesures satellites avec d'autres satellite ou des mesures in situ, production et visualisation (dashboards, notebooks jupyter) de diagnostiques statistiques, mise à jour régulière de ces statistiques.

Un cas d'utilisation spécifique sera le projet ERS-SAR. L'objectif principal de ERS-SAR est le développement d'algorithmes innovants pour mesurer des paramètres qui décrivent l'état de mer à partir des acquisitions de l'instrument SAR sur les satellites historiques ERS-1 et ERS-2. La phase finale du projet inclut également la production d'un jeux de données complet massif (l'ensemble des observations acquises sur l'océan global) à destination d'applications scientifiques et de l'ensemble de la communauté scientifique. Dans ce contexte, les missions principales de ce poste seront directement liées à la mise en place d'une capacité de traitement de données massifs et de son opération pour les aspects algorithmiques ainsi qu'à de production du jeux de données final.

Pour ce faire , le/la candidat(e) :

• devra se familiariser avec les outils de conteneurisation et de réservation de ressources sur calculateur, les outils de distribution et d'orchestration de tâches sur des noeuds multiples (traitements de type job array) ainsi que des ordonnanceurs associés (PBS, SLURM, ...)
• mettra en oeuvre des workflows scientifiques dans des environnements de recherche virtualisés pour l'inter-comparaison de différentes sources d'observation et la production de diagnostiques pour la qualification scientifique des données produites
• apportera éventuellement des modifications ou évolutions aux traitements déployés (Python, Dask, xarray,....) ou formats de données (Zarr, parquet,...) afin d'optimiser la durée de traitement, les ressources utilisées ou l'orchestration des différentes tâches, en fonction de la cible de traitement
• Il accompagnera et apportera un support aux chercheurs et ingénieurs du LOPS dans leur analyse des données produites

Champs relationnel

• En interne: Le poste sera localisé au sein du service ODE-LOPS équipe SIAM et impliquera des échanges avec différents chercheurs ou ingénieurs
• En externe: interactions les partenaires projet (autres instituts, Agence Spatiale Européenne, EUMETSAT)

Profil recherché

• Ingénieur informaticien ou Traitement de Données Bac +5 (Master, grande école ou équivalent)

Compétences techniques / métiers

• Solides compétences de programmation scientifique en Python (conda, numpy, xarray, dask, notebooks Jupyter),
• Utilisation courante des systèmes d'exploitation Linux (commandes, scripts),
• Utilisation courante des technologies de conteneurisation et environnements cloud et HPC : docker, singularity, stockage objet, data lakes, orchestrateurs HPC (PBS, SLURM,...) et outils de gestion de workflow (Airflow,...)
• formats de fichiers NetCDF et zarr/parquet
• méthodologies de développement en mode DevOPS (gitlab, CI, ...)
• Anglais écrit et oral

Qualités personnelles

• Sens du service
• Goût pour relever les défis techniques
• Esprit d'initiative et autonomie pour prendre en charge des tâches dans des contextes variés.
• Bonnes capacités de communication et de travail en équipe,
• Un souci du travail finalisé et opérationnel (tests, validation des résultats, suivi des utilisateurs et de leurs besoins, ...)
• capacité à bien documenter (code, manuel utilisateur, procédures d'installation, documents techniques)