
Data Engineer H/F - Pôle Emploi
- Lyon 7e - 69
- CDI
- Pôle Emploi
Les missions du poste
Rejoignez Hyggle et prenez en charge la mise en place et l'automatisation des pipelines de données qui alimentent notre plateforme SaaS de pilotage et d'optimisation des infrastructures hydrogène et énergie verte.
Vous serez le garant de la fiabilité, de la scalabilité et de la qualité des flux de données (APIs marché, SCADA, PPA, comptage Enedis/GRDF, etc.), en construisant un socle robuste pour nos algorithmes IA.
Responsabilités
- Concevoir, développer et maintenir les pipelines d'ingestion (APIs, fichiers, flux temps réel).
- Structurer et optimiser le stockage dans BigQuery / GCS.
- Mettre en place l'orchestration et le monitoring avec Prefect + GCP.
- Définir les règles de qualité et validation des données.
- Collaborer avec l'AI Engineer pour fournir des datasets fiables et prêts à l'usage.
- Suivre les performances et coûts des jobs data (GCP Monitoring).
Stack
- Cloud : GCP (BigQuery, GCS, Pub/Sub, Cloud Run, Vertex AI en support).
- Orchestration : Prefect.
- Langages : Python, SQL.
- CI/CD & Infra : GitLab , Docker, Terraform (bonus).
Profil recherché
- Expérience 2-5 ans en Data Engineering.
- Solide pratique des pipelines ETL/ELT sur cloud public (idéalement GCP).
- Maîtrise SQL + Python.
- Culture DevOps (monitoring, automatisation).
- Intérêt pour l'énergie, l'optimisation ou l'Industrie 4.0 est un plus.
Le profil recherché
Experience: 3 An(s)
Compétences: Analyser, exploiter, structurer des données,Concevoir et gérer un projet,Enrichir une base de données,Définir les solutions de stockage et de structuration des données,Gérer et maitriser des bases de données (SQL/NoSQL),Gérer une architecture technique,Modéliser une base de données,Réaliser une analyse ou modélisation statistique de données,Sélectionner, assembler et intégrer des composants informatiques (progiciels, bases de données, développements spécifiques, ...),Tester un logiciel, un système d'informations, une application,Vérifier la compatibilité des développements produits avec les spécifications
Qualification: Cadre
Secteur d'activité: Ingénierie, études techniques
Liste des qualités professionnelles:
Organiser son travail selon les priorités et les objectifs : Capacité à planifier, prioriser, anticiper des actions, en tenant compte des moyens, des ressources, des objectifs et du calendrier pour les réaliser.
Faire preuve de rigueur et de précision : Capacité à réaliser des tâches en suivant avec exactitude les règles, les procédures, les instructions qui ont été fournies, sans réaliser d'erreur et à transmettre clairement des informations. Se montrer ponctuel et respectueux des règles de savoir-vivre usuelles.
Etre force de proposition : Capacité à initier, imaginer des propositions nouvelles pour résoudre les problèmes identifiés ou améliorer une situation. Être proactif.