Data Engineer H/F - Computer Futures
- Dunkerque - 59
- Freelance
- Télétravail accepté
- Computer Futures
Les missions du poste
Notre client est un acteur industriel de premier plan dans le domaine de la sidérurgie, engagé dans une transformation digitale ambitieuse. Dans le cadre de la création de nouvelles lignes de production, il met en place une architecture data robuste pour exploiter au mieux les données industrielles.Rejoignez un projet stratégique dans le secteur de la sidérurgie, au coeur de la modernisation des lignes de production. Vous interviendrez sur la mise en place de flux de données complexes dans un environnement Big Data
En tant que Data Engineer Senior, vous serez intégré à une équipe technique dédiée à la mise à disposition des données issues des nouvelles lignes de production. Votre rôle sera de concevoir, développer et maintenir les flux de données nécessaires à l'exploitation des systèmes industriels.
Vos missions principales :
* Rédiger les spécifications techniques des flux de données (ingestion, transformation, traitement)
* Développer des pipelines de données avec Kafka, Talend, Spark (PySpark)
* Concevoir des solutions d'ingestion et de traitement de données à grande échelle
* Collaborer avec les équipes IT et métiers pour garantir la qualité, la fiabilité et la disponibilité des données
Le profil recherché
* Solide maîtrise de l'écosystème Big Data
* Expérience avec Cloudera / Hadoop
* Expertise en Spark et PySpark
* Maîtrise de Kafka
* Bon niveau en Talend
* Compétences avancées en SQL Server