Data Engineer Confirmé - Spark - SQL - Databricks H/F - Prestanova
- Lyon - 69
- CDI
- Prestanova
Les missions du poste
Dans le cadre de l'évolution d'une plateforme décisionnelle et de sa migration progressive vers le cloud, nous recherchons un Data Engineer confirmé capable d'intervenir aussi bien sur la conception des traitements que sur la modélisation et la qualité des données. Mission de 12 mois.
Vos missions
- Recueillir et analyser les besoins fonctionnels et techniques des métiers
- Identifier, qualifier et fiabiliser les données nécessaires
- Concevoir et faire évoluer des datawarehouses et datamarts
- Développer des flux d'intégration et pipelines de données
- Réaliser les traitements de nettoyage, transformation et contrôle qualité
- Développer et optimiser des traitements Spark
- Contribuer à la migration de la plateforme data vers Databricks
- Produire des restitutions et tableaux de bord à destination des métiers
- Tester, documenter, déployer et maintenir les solutions en production
- Participer aux revues de code et à l'amélioration continue de l'architecture
- Accompagner les utilisateurs : ateliers, recueil des besoins, support et formation
PROFIL RECHERCHE
Vous justifiez d'au moins 5 ans d'expérience en Data Engineering, BI ou ingénierie décisionnelle, avec une pratique réellement opérationnelle de Spark et SQL.
Une expérience solide en conception d'entrepôts de données et en développement de traitements data est indispensable. La connaissance de Databricks et des problématiques de migration vers une plateforme cloud constituera un réel avantage.
Au-delà de la technique, nous recherchons une personne autonome, rigoureuse, capable d'échanger directement avec les métiers, de comprendre leurs usages et de proposer des solutions adaptées.
Environnement technique
Indispensable :
- Spark
- SQL
- Modélisation décisionnelle : DWH / datamarts
- Traitement et qualité de données
Environnement complémentaire :
- Databricks
- Python
- Hive, Indexima
- Oracle, stockage objet S3 / Parquet
- Informatica
- Tableau Server
- Git, Jenkins, Ansible, Terraform
- Control-M
- PL/SQL, Shell
- Java apprécié
- Méthodes Agile
Le profil recherché
Experience: 5 An(s)
Compétences: Mastère spécialisé expert big data engineer,Analyser, exploiter, structurer des données
Qualification: Cadre
Secteur d'activité: Ingénierie,études techniques
Liste des qualités professionnelles:
Faire preuve d'autonomie : Capacité à prendre en charge son activité sans devoir être encadré de façon continue (le cas échéant, à solliciter les autres acteurs de l'entreprise).
Faire preuve de rigueur et de précision : Capacité à réaliser des tâches en suivant avec exactitude les règles, les procédures, les instructions qui ont été fournies, sans réaliser d'erreur et à transmettre clairement des informations. Se montrer ponctuel et respectueux des règles de savoir-vivre usuelles.
Organiser son travail selon les priorités et les objectifs : Capacité à planifier, prioriser, anticiper des actions, en tenant compte des moyens, des ressources, des objectifs et du calendrier pour les réaliser.
Compétences: Mastère spécialisé expert big data engineer,Analyser, exploiter, structurer des données
Qualification: Cadre
Secteur d'activité: Ingénierie,études techniques
Liste des qualités professionnelles:
Faire preuve d'autonomie : Capacité à prendre en charge son activité sans devoir être encadré de façon continue (le cas échéant, à solliciter les autres acteurs de l'entreprise).
Faire preuve de rigueur et de précision : Capacité à réaliser des tâches en suivant avec exactitude les règles, les procédures, les instructions qui ont été fournies, sans réaliser d'erreur et à transmettre clairement des informations. Se montrer ponctuel et respectueux des règles de savoir-vivre usuelles.
Organiser son travail selon les priorités et les objectifs : Capacité à planifier, prioriser, anticiper des actions, en tenant compte des moyens, des ressources, des objectifs et du calendrier pour les réaliser.