Lead Data Engineer H/F - SIKIA

SIKIA recrute un Lead Data Engineer H/F pour accompagner un acteur majeur du secteur du transport et de la logistique dans l'industrialisation et la performance de ses solutions data. Vous interviendrez en tant que référent technique au sein des équipes projet, avec un rôle clé dans la conception, le développement et le déploiement de pipelines de données à grande échelle.

Vous participerez à la mise en place d'architectures DataOps modernes, robustes et scalables, dans un environnement Cloud Microsoft Azure et Big Data exigeant. Vous contribuerez également à la montée en compétence des équipes et à la structuration des bonnes pratiques d'ingénierie data.

Votre mission consistera à concevoir et développer des pipelines distribués en Spark, à mettre en oeuvre des flux d'ingestion et de transformation dans Databricks, et à orchestrer des workflows complets via Apache NiFi et Airflow. Vous serez également responsable des flux temps réel en vous appuyant sur Apache Kafka pour garantir la performance, la disponibilité et la fiabilité des chaînes de traitement.

Vous interviendrez sur l'industrialisation des projets data grâce à l'automatisation des déploiements (Ansible), l'intégration CI/CD via Azure DevOps et Git, et la supervision des environnements. Vous contribuerez à la gouvernance data, à la définition des standards techniques et au maintien d'un haut niveau de qualité de code. La maîtrise de Dataiku DSS constitue un atout apprécié pour aborder les dimensions de transformation, d'orchestration et de gouvernance visuelle.

Le poste requiert une solide expérience des environnements distribués, une excellente maîtrise des concepts Big Data et un sens affirmé du leadership technique. Vous collaborerez étroitement avec les équipes internes pour garantir la cohérence, la sécurité et la scalabilité des solutions mises en production.

De formation Bac +5 en informatique, vous disposez d'au moins 5 ans d'expérience confirmée en développement, industrialisation et orchestration de pipelines Big Data et Cloud. Vous maîtrisez Spark (PySpark, Scala ou Java), NiFi, Kafka et Databricks, ainsi que les environnements Azure Data Lake, Event Hub et Key Vault.

Vous possédez de solides compétences en développement data (Python, SQL, Scala/Java), en intégration CI/CD (Git, Azure DevOps) et en automatisation (Ansible). La mise en oeuvre de DAGs Airflow, l'optimisation des flux et le monitoring des environnements distribués font partie de votre quotidien.

Vos qualités professionnelles incluent la rigueur, la fiabilité, une excellente capacité d'analyse et le sens des responsabilités. Vous appréciez la collaboration au sein d'équipes pluridisciplinaires et savez vous positionner comme référent technique auprès des équipes projet.

Créée en 2000, SIKIA est une société de services numériques (ESN) experte dans les prestations à haute valeur ajoutée.

Nous accompagnons principalement des Grands Comptes dans la conception, la gestion et la performance de leurs systèmes informatiques complexes :
- Consulting et gestion de projets
- Développement d'applications web
- Maîtrise des données et des flux
- Support technique et TMA

Notre ambition : garantir l'avenir numérique de nos clients par une approche experte, responsable et humaine. Chez SIKIA, la réussite repose sur un équilibre entre compétence technique, sens du service et valeurs humaines.