Senior Data Engineer H/F - AViv

Vous rejoindrez l'une des plus grandes marketplace immobilière au monde et une filiale d'Axel Springer. Notre mission est de permettre à chacun de trouver l'endroit idéal ! Vous travaillerez ainsi sur certaines des marques immobilières numériques les plus connues d'Europe, notamment :Meilleurs Agents, Groupe SeLoger, Immoweb, Immowelt, Realo, Neuraum, Yad2.Nous recherchons un(e) Senior Data Engineer spécialisé(e) en Python, Pyspark, AWS, et data, pour rejoindre notre équipe dynamique. Vous jouerez un rôle clé dans la création, l'optimisation et l'amélioration des pipelines de données pour l'ingestion, l'enrichissement et l'exposition des données classifiées et transactionnelles sur AWS. Vous travaillerez directement sous la direction de notre Team Lead Data Engineer, qui organisera les tâches et assurera le bon déroulement du projet.

Les missions :
- Optimisation du pipeline : Analyser et améliorer les pipelines de données existants pour optimiser les performances, la rentabilité et l'évolutivité.
- Transformation du pipeline : Transition des pipelines batch/snapshot vers des pipelines de gestion delta.
- Infrastructure as Code : Développer et maintenir des modules Terraform pour une gestion efficace de l'infrastructure sur AWS.
- Migration du pipeline : Migration des pipelines de données de Google Cloud Platform vers AWS en minimisant les interruptions et en garantissant une fiabilité élevée.
- Surveillance et alertes : Concevoir et mettre en oeuvre des tableaux de bord et des systèmes d'alerte DataDog pour assurer une surveillance proactive des performances du pipeline de données.
- Veille technologique et innovation : Se tenir informé des nouvelles technologies et promouvoir activement les innovations et améliorations pertinentes au sein de l'équipe.
- Mentorat et soutien de l'équipe : Soutenir et guider les membres de l'équipe level junior, partager l'expertise et les bonnes pratiques, et contribuer à la croissance globale de l'équipe.

Compétences technique requises
- Une expérience pratique approfondie des services AWS, notamment S3, ECS, etc., et plus particulièrement Lambda et Glue
- Des compétences avancées en Python pour la manipulation de données, la création de scripts et le développement de pipelines.
- Une solide expérience dans la création de pipelines de données distribués et évolutifs avec PySpark.
- Une maîtrise de SQL pour l'interrogation et la transformation de grands ensembles de données.
- Une Expérience dans la création et la gestion d'infrastructures avec Terraform. Terragrunt est un atout.
- Une maîtrise de la configuration et de la maintenance de pipelines pour la prise en charge des workflows d'automatisation et de déploiement.
- Une connaissance de DataDog pour la surveillance, les alertes et la création de tableaux de bord.

Qualités recherchées :
- Autonome dans la gestion de projet, vous maîtrisez l'infrastructure de production et l'accès aux données.
- Votre esprit est ouvert à l'innovation et à l'amélioration continue.
- Pragmatique, vous trouvez des solutions concrètes et vous adaptez rapidement.
- Vous accordez une haute importance à la qualité du code et au respect des bonnes pratiques.
- Vous appréciez le travail d'équipe, communiquez ouvertement et offrez un support proactif.
- Vous assurez la qualité des tests et maintenez une approche axée sur le client.