Senior Data Engineer Databricks - CDI ou Freelance H/F - Cenova

Le besoin

Contexte

Cenova est un cabinet de conseil spécialisé dans la Data, l'IA et le Digital.

Dans le cadre du développement de notre activité lilloise, nous recrutons actuellement un Senior Data Engineer capable d'intervenir sur des environnements Data complexes et fortement industrialisés.

Nous recherchons un profil disposant d'une expertise avancée sur Databricks et les architectures Lakehouse, avec une forte maîtrise de la modélisation et de l'industrialisation des données.

Nous sommes ouverts aux consultants freelances comme aux profils souhaitant rejoindre Cenova en CDI.

?? Localisation : métropole lilloise

Missions

Vous intervenez au sein d'un environnement Data structuré, en collaboration avec des Data Engineers, Product Owners, Architectes Data, Data Stewards, Data Analysts et équipes IT.

Votre rôle sera de contribuer à la conception, l'industrialisation et l'évolution de solutions Data et IA sur une plateforme Lakehouse, en garantissant leur robustesse, leur performance et la qualité des données.

Vous serez notamment amené(e) à :

• Concevoir et optimiser des architectures Data sur Databricks

• Travailler sur Delta Lake, Unity Catalog, Workflows, Jobs et Notebooks

• Optimiser les performances, la scalabilité et les coûts de la plateforme

• Concevoir des modèles de données analytiques et décisionnels robustes

• Travailler sur les notions de faits, dimensions, granularité et historisation / SCD

• Développer et fiabiliser des pipelines ETL / ELT

• Mettre en place des tests et contribuer aux mises en production

• Participer aux démarches CI/CD

• Implémenter des contrôles de Data Quality

• Contribuer à la gestion des anomalies, à la traçabilité et au data lineage

• Utiliser des outils de développement augmentés par l'IA pour la génération de code, le refactoring, les tests ou la documentation

• Participer à la définition et à la diffusion des standards Data auprès des différentes équipes

Outils & Environnement

• Databricks

• Delta Lake

• Unity Catalog

• Workflows, Jobs, Notebooks

• Python et SQL

• Git et CI/CD

• Outils de développement augmentés par l'IA

• Azure DevOps (apprécié)

• Databricks Genie (apprécié)

• Power BI (apprécié)

• APIs et intégration (apprécié)

• Environnement Agile / Scrum (apprécié)

Conditions de travail

• Type de contrat : Freelance ou CDI

• Localisation : métropole lilloise

Informations complémentaires

Nous recherchons avant tout un profil senior, autonome et structurant, capable de prendre du recul sur une architecture Data tout en restant très opérationnel.

Vous aimez autant :

• Concevoir une architecture robuste

• Modéliser correctement la donnée

• Industrialiser ce qui est développé

• Challenger les pratiques existantes

• Partager vos standards avec les autres membres d'une équipe Data

Une expérience significative sur Databricks en environnement de production sera particulièrement importante.

Si vous êtes freelance, nous serons ravis d'échanger afin de mieux connaître votre expertise, vos disponibilités et vos prochaines recherches de mission.

Si vous envisagez un CDI, nous pourrons également vous présenter Cenova, notre practice Data Tech et les différents projets sur lesquels nos consultants interviennent.

Profil recherché

1. Expertise avancée Databricks
2. Très bonne connaissance des architectures Lakehouse / Delta Lake
3. Très bonne maîtrise de Python et SQL
4. Solide expérience en modélisation de données
5. Expérience dans la conception et l'industrialisation de pipelines Data
6. Maîtrise de Git et CI/CD
7. Capacité à travailler sur des problématiques de qualité, gouvernance et traçabilité des données
8. Autonomie et capacité à évoluer dans un environnement transverse
9. Profil senior, autonome et structurant, capable de prendre du recul sur une architecture Data tout en restant très opérationnel
10. Expérience significative sur Databricks en environnement de production