Ingénieur Big Data Senior - Femme - Homme H/F - Candidate First

Candidate First recrute pour l'un de ses éditeurs de logiciels, 2 ingénieurs BIG DATA SENIOR femme/homme à Toulouse et/ou Paris.Au sein de notre équipe satellite ou simulation hydrologique, vous serez chargé de créer et d'exploiter des pipelines d'ingestion et de traitement de données pour des téraoctets de données météorologiques et hydrologiques.
Rattaché(e) au Teamlead, vous vous concentrerez sur la garantie d'une livraison évolutive, reproductible et de qualité industrielle des entrées et sorties du modèle.

- Mettre en oeuvre l'ingestion (par batch/en continu), les étapes ELT/ETL et les workflows de publication des données.- Gérer les formats scientifiques (netCDF, GRIB2) et le stockage en colonnes (Parquet) ; optimiser les E/S et les algorithmes.- Concevoir un stockage avec des modèles de cohérence finale (publications atomiques, manifestes, chemins versionnés) et un catalogue de métadonnées.- Partitionner et paralléliser les charges de travail pour le calcul distribué ; compacter les petits fichiers et optimiser le rapport coût/performance.- Créer et exécuter des services conteneurisés et des workflows orchestrés ; garantir l'observabilité, les réessais, l'idempotence et les runbooks.- Collaborer avec des scientifiques pour définir des modèles de données et des règles de validation.

Formations :

Bac +5 en Informatique, Mathématique ou Data Scientist

Expérience :

Des postes de débutants et d'expérimentés sont à pourvoir.

Les compétences techniques attendues sont :

- ETL- Data lake + Meta Données- Python (xarray, netCDF4, pyarrow), PySpark or Dask- S3-compatible object storage; Parquet format- PostgreSQL / PostGIS- Kubernetes + Docker for deployment- AWS (S3, EKS, EC2) or equivalent cloud; Terraform for IaC

Compétences comportementales :

- Curiosité- Faculté de communication - Esprit d'équipe- Capacité d'analyse et de résolution de problème- Aptitude managériale pour les profils expérimentés

Candidate First est particulièrement engagée en faveur de la Diversité, de l'Égalité des chances, et de l'Inclusion.Partenaire exclusif de Women First, 1er vivier de talents féminins en France, nous nous engageons à présenter des shortlists équilibrées de femmes et d'hommes.