Data Engineer Aws - Big Data Nifi Spark Emr Mongodb MLOps H/F - R & s Telecom
- Paris 1er - 75
- CDI
- R & s Telecom
Les missions du poste
Description du besoin :
Mission Data Engineer AWS / Big Data (NiFi, Spark, EMR, MongoDB, MLOps)
Lieu : Magny-Les-Hameaux
Télétravail 1 à 2j / semaine
Anglais lu, écrit et parlé
Contexte
Une plateforme de données permet d'ingérer, traiter et exposer des données issues de fournisseurs externes afin de mieux connaître les usages produits, analyser les marchés, améliorer la maintenance prédictive et développer de nouveaux cas d'usage.
Ces plateformes reposent sur un socle AWS et évoluent en continu pour répondre aux besoins métiers. Dans ce cadre, un renfort en Data Engineering est recherché pour accélérer le développement de nouvelles fonctionnalités, fiabiliser l'ingestion et le traitement de données, et renforcer la gouvernance.
Objectifs de la mission
- Participer à la conception et au développement de pipelines de données robustes et sécurisés.
- Mettre en oeuvre des solutions de traitement de données massives et multi-sources.
- Améliorer la qualité, la fiabilité et la disponibilité des données exposées aux utilisateurs internes.
- Industrialiser et automatiser les chaînes de traitement et les déploiements (CI/CD, MLOps).
- Contribuer aux rituels Agile de l'équipe et assurer le support lors des phases de tests et de mise en production.
Environnement technique
- Ingestion : Apache NiFi (1.16.3) & NiFi Registry (0.8.0).
- Traitements : Amazon EMR on EKS (5.32.0), Spark 2.x.
- Orchestration : MWAA / Airflow (2.4.3).
- Stockage & exposition : Amazon EKS, MongoDB Enterprise 6.0.6, OpenSearch 1.2.
- Services AWS : S3, HDFS, RDS, Redshift, EMR, Airflow.
- CI/CD & MLOps : chaînes d'automatisation et industrialisation d'algorithmes.
Expertises techniques attendues
- Maîtrise des services Data sur AWS (idéalement certifié Data Analytics / Big Data).
- Compétences en Big Data & Analytics : Spark, NoSQL.
- Intégration de données (ETL/EAI - ex. Mulesoft).
- Automatisation de pipelines CI/CD et mise en oeuvre MLOps.
- Connaissance des bonnes pratiques sécurité, RGPD et qualité des données.
Périmètre de la mission
Infrastructure de données
- Cartographier et documenter les sources de données.
- Concevoir et maintenir les solutions de traitement à grande échelle.
- Structurer les bases de données (sémantique, format, normalisation).
- Contribuer à la gestion des référentiels.
- Assurer la maintenance des environnements de production.
Intégration de données
- Mettre en place des flux d'ingestion multi-sources (structurées et non structurées).
- Assurer la supervision des flux et l'intégration en temps réel ou batch.
- Vérifier la qualité des données entrantes (contrôles, déduplication).
- Garantir la sécurité et la confidentialité des données.
- Coordonner les étapes de validation avec les Data Analysts et Data Scientists.
Automatisation & MLOps
- Développer des pipelines de traitement automatisés.
- Industrialiser le déploiement d'algorithmes Machine Learning.
- Intégrer les traitements dans des chaînes CI/CD robustes.
Infrastructure de données
- Cartographier et documenter les sources de données.
- Concevoir et maintenir les solutions de traitement à grande échelle.
- Structurer les bases de données (sémantique, format, normalisation).
- Contribuer à la gestion des référentiels.
- Assurer la maintenance des environnements de production.
Intégration de données
- Mettre en place des flux d'ingestion multi-sources (structurées et non structurées).
- Assurer la supervision des flux et l'intégration en temps réel ou batch.
- Vérifier la qualité des données entrantes (contrôles, déduplication).
- Garantir la sécurité et la confidentialité des données.
- Coordonner les étapes de validation avec les Data Analysts et Data Scientists.
Automatisation & MLOps
- Développer des pipelines de traitement automatisés.
- Industrialiser le déploiement d'algorithmes Machine Learning.
- Intégrer les traitements dans des chaînes CI/CD robustes.
Gouvernance et coordination
- Participation active aux rituels Agile (daily meetings, sprint planning, rétrospectives).
- Animation d'ateliers techniques et rédaction des comptes-rendus.
- Contribution aux COPIL trimestriels pour le suivi global de la prestation.
R&S Telecom est une entreprise agile et innovante dans le domaine des services numériques. Depuis sa création en 2021, elle a connu une croissance rapide et a étendu son influence en France et au Maroc. Son engagement envers l'excellence et la réactivité l'a positionnée comme un acteur solide sur le marché des ESN.
De la qualification des besoins à la mise en oeuvre des projets, R&S Telecom repousse les limites du sourcing et du placement de consultants pour accompagner ses partenaires sur des projets stratégiques. L'entreprise propose des solutions sur mesure pour répondre aux défis complexes de secteurs variés : télécoms, banque, transport, sécurité et aéronautique.
Les réalisations parlent d'elles-mêmes : plus de 60 consultants déjà placés chez des clients et partenaires majeurs comme Orange Business Services, Alten ou Inops. Grâce à son organisation commerciale entre la France et le Maroc, R&S Telecom apporte réactivité et qualité sur chaque besoin traité.
Au coeur de R&S Telecom résident des valeurs fortes : rapidité, agilité, proximité et engagement envers ses partenaires. L'entreprise mise sur des relations de confiance et sur des processus rigoureux pour transformer chaque opportunité en succès durable.
Chez R&S Telecom, l'innovation commerciale et la qualité du suivi sont au service des clients et des consultants, dans un environnement où l'exigence et la performance sont la clé de la réussite.