Data Integration Engineer - Lille H/F - Theodo

Le besoin

Contexte du poste

Dans le cadre de l'évolution et de l'industrialisation d'une plateforme Data, le Data Integration Engineer intervient au sein de l'équipe technique afin de concevoir, développer et faire évoluer les flux d'intégration et de diffusion des données.

Il est responsable de la conception et du développement des pipelines ETL/ELT, ainsi que des API et connecteurs permettant d'exposer et de diffuser les données vers les différents outils consommateurs de l'écosystème.

Le poste implique une collaboration étroite avec les équipes Data, techniques et métier, ainsi qu'une contribution aux évolutions d'architecture et aux différents chantiers de la roadmap technique.

Missions principales

1. Développement des flux d'intégration de données

• Concevoir, développer et maintenir des pipelines ETL/ELT.

• Intervenir notamment sur Azure Synapse et Azure Data Factory, avec une ouverture possible vers Microsoft Fabric et Databricks.

• Garantir la fiabilité, la performance et la traçabilité des flux.

• Assurer les échanges de données entre les systèmes sources et la plateforme Data.

2. Développement d'API et de connecteurs

• Concevoir et développer des API et connecteurs.

• Permettre l'exposition et la diffusion des données vers les différents outils de l'écosystème.

• Interfacer la plateforme avec des solutions BI, des applications métier et des outils tiers.

• Respecter les standards et principes d'architecture définis au sein de l'équipe Data.

3. Contribution à la roadmap technique

• Participer aux différents chantiers techniques d'évolution de la plateforme Data.

• Contribuer à l'évolution de l'architecture.

• Participer à l'industrialisation des flux.

• Intervenir sur des projets de migration ou d'intégration de nouvelles briques technologiques.

• Collaborer avec les équipes projet et architecture pour assurer le delivery des évolutions.

4. Qualité, fiabilité et documentation

• Mettre en place des contrôles de qualité et de cohérence sur les flux développés.

• Garantir la fiabilité des traitements et des données.

• Documenter les règles de transformation et les spécifications techniques.

• Appliquer les bonnes pratiques de développement et de gestion de code.

• Utiliser Git et contribuer aux pratiques DevOps / CI-CD.

5. Collaboration avec les équipes Data et métier

• Travailler en collaboration avec les Data Engineers et les différentes équipes Data.

• Comprendre et analyser les besoins d'intégration.

• Identifier et remonter les contraintes techniques.

• Challenger les solutions proposées et contribuer à la recherche de solutions adaptées.

• Faciliter la transmission des connaissances et la documentation technique.

Compétences techniques recherchées

• Azure Synapse

• Azure Data Factory

• Conception de flux ETL / ELT

• Git

• Pratiques DevOps / CI-CD

• .NET

• Maîtrise d'un langage de programmation

• Utilisation d'un framework de développement

• Développement d'API et de connecteurs

• Architecture Data Platform

• Modélisation de données, notamment approche médaillon, appréciée

• Utilisation des outils d'IA dans le cadre du développement au quotidien

Profil recherché

• Formation supérieure en informatique, idéalement Bac +5 / diplôme d'ingénieur.

• 5 ans d'expérience minimum sur des sujets Data.

• Expérience significative dans le développement de pipelines d'intégration de données.

• Bonne capacité à évoluer dans un environnement technique et à travailler en équipe.

• Autonomie, rigueur et sens de la documentation.

• Capacité à communiquer et à transmettre les connaissances.

• Anglais professionnel.

Qualités personnelles

• Autonomie et capacité à prendre des initiatives.

• Esprit d'équipe.

• Bonnes capacités d'analyse et de résolution de problèmes.

• Rigueur et sens de la qualité.

• Capacité à documenter et à transmettre.

• Curiosité technique et intérêt pour les nouvelles technologies Data et les usages de l'IA.