Lead Data Engineer - Architecte Data H/F - Eco-Hub
Lead Data Engineer - Architecte Data H/F
Eco-Hub · Boulogne-Billancourt - 92 · CDI
Les missions du poste
Energisme est une plateforme SaaS leader dans la gestion énergétique. Notre solution analyse des volumes massifs de données énergétiques (millions de points de mesure, séries temporelles IoT) pour optimiser les consommations et réduire l'empreinte carbone de nos clients.
Mission : pilier technique de notre plateforme de données, vous dirigerez la migration de notre infrastructure NoSQL vers une architecture data lakehouse avec découplage stockage/calcul, tout en optimisant nos pipelines de traitement massif et en garantissant la scalabilité.
Responsabilités :
- Définir et piloter l'architecture data de la plateforme
- Diriger la migration NoSQL vers data lakehouse (stockage/calcul découplé)
- Concevoir et optimiser les pipelines ETL/ELT à grande échelle
- Encadrer l'équipe data engineering et garantir la qualité
- Optimiser les jobs Spark pour données IoT massives
- Implémenter l'observabilité et les SLAs de qualité des données
- Optimiser les coûts de stockage et calcul sur Azure
Stack technique :
- Data Lakehouse : Parquet/ORC, Azure Data Lake Gen2, solutions de catalogage
- Processing : Apache Spark (Scala/Python), PySpark
- Query Engines : Trino/Presto, JDBC/ODBC Gateways, Spark SQL
- Orchestration : Airflow, GitLab CI, Kubernetes/AKS
- Cloud : Azure, Terraform, Docker
- Monitoring : OpenTelemetry, Prometheus/Grafana, Azure Monitor
Compétences indispensables :
- Expertise Apache Spark (Scala ou Python)
- Expérience architectures data lakehouse (Iceberg, Delta Lake, Hudi)
- Connaissance bases NoSQL distribuées (Cassandra, ScyllaDB, HBase)
- Maîtrise formats columnaires (Parquet, ORC) et stockage
- Conception pipelines ETL/ELT à grande échelle
- Python, Cloud Azure, moteurs SQL distribués
Fortement appréciées :
- Migrations NoSQL vers data lakehouse
- Séries temporelles et données IoT
- Orchestration (Airflow, Prefect), Scala, Terraform
- Optimisation coûts cloud, data quality
Savoir-être : leadership technique et capacité à fédérer, communication et pédagogie, autonomie, rigueur, pragmatisme.
CDI - Démarrage dès que possible.
Mission : pilier technique de notre plateforme de données, vous dirigerez la migration de notre infrastructure NoSQL vers une architecture data lakehouse avec découplage stockage/calcul, tout en optimisant nos pipelines de traitement massif et en garantissant la scalabilité.
Responsabilités :
- Définir et piloter l'architecture data de la plateforme
- Diriger la migration NoSQL vers data lakehouse (stockage/calcul découplé)
- Concevoir et optimiser les pipelines ETL/ELT à grande échelle
- Encadrer l'équipe data engineering et garantir la qualité
- Optimiser les jobs Spark pour données IoT massives
- Implémenter l'observabilité et les SLAs de qualité des données
- Optimiser les coûts de stockage et calcul sur Azure
Stack technique :
- Data Lakehouse : Parquet/ORC, Azure Data Lake Gen2, solutions de catalogage
- Processing : Apache Spark (Scala/Python), PySpark
- Query Engines : Trino/Presto, JDBC/ODBC Gateways, Spark SQL
- Orchestration : Airflow, GitLab CI, Kubernetes/AKS
- Cloud : Azure, Terraform, Docker
- Monitoring : OpenTelemetry, Prometheus/Grafana, Azure Monitor
Compétences indispensables :
- Expertise Apache Spark (Scala ou Python)
- Expérience architectures data lakehouse (Iceberg, Delta Lake, Hudi)
- Connaissance bases NoSQL distribuées (Cassandra, ScyllaDB, HBase)
- Maîtrise formats columnaires (Parquet, ORC) et stockage
- Conception pipelines ETL/ELT à grande échelle
- Python, Cloud Azure, moteurs SQL distribués
Fortement appréciées :
- Migrations NoSQL vers data lakehouse
- Séries temporelles et données IoT
- Orchestration (Airflow, Prefect), Scala, Terraform
- Optimisation coûts cloud, data quality
Savoir-être : leadership technique et capacité à fédérer, communication et pédagogie, autonomie, rigueur, pragmatisme.
CDI - Démarrage dès que possible.
Le profil recherché
Experience: 5 An(s)
Compétences: Analyser, exploiter, structurer des données
Qualification: Cadre
Secteur d'activité: Édition de logiciels applicatifs
Liste des qualités professionnelles:
Faire preuve d'autonomie : Capacité à prendre en charge son activité sans devoir être encadré de façon continue (le cas échéant, à solliciter les autres acteurs de l'entreprise).
Faire preuve de rigueur et de précision : Capacité à réaliser des tâches en suivant avec exactitude les règles, les procédures, les instructions qui ont été fournies, sans réaliser d'erreur et à transmettre clairement des informations. Se montrer ponctuel et respectueux des règles de savoir-vivre usuelles.
Faire preuve de leadership : Capacité à mobiliser une équipe/des interlocuteurs et à les entraîner dans la poursuite d'un objectif partagé.
Compétences: Analyser, exploiter, structurer des données
Qualification: Cadre
Secteur d'activité: Édition de logiciels applicatifs
Liste des qualités professionnelles:
Faire preuve d'autonomie : Capacité à prendre en charge son activité sans devoir être encadré de façon continue (le cas échéant, à solliciter les autres acteurs de l'entreprise).
Faire preuve de rigueur et de précision : Capacité à réaliser des tâches en suivant avec exactitude les règles, les procédures, les instructions qui ont été fournies, sans réaliser d'erreur et à transmettre clairement des informations. Se montrer ponctuel et respectueux des règles de savoir-vivre usuelles.
Faire preuve de leadership : Capacité à mobiliser une équipe/des interlocuteurs et à les entraîner dans la poursuite d'un objectif partagé.