Consultant Data Engineer Azure Spark Scala H/F - Sidexia

Conception et Développement de Pipelines de Données :

Concevoir, développer et déployer des pipelines de données scalables et performants en utilisant Apache Spark et Scala sur la plateforme Azure.

Intégrer, transformer et traiter des volumes massifs de données provenant de diverses sources (bases de données, systèmes de fichiers, APIs) pour les rendre exploitables par les équipes de data science et d'analyse.

Implémenter des solutions de traitement en temps réel et par batch, en optimisant les performances des pipelines de données.

Architecture et Infrastructure Big Data :

Concevoir et mettre en oeuvre des architectures de données robustes et évolutives sur Azure, en utilisant des services comme Azure Data Lake, Azure Databricks, et Azure Synapse Analytics.

Gérer les environnements de stockage, les bases de données distribuées, et les outils d'orchestration pour garantir la disponibilité, la performance, et la sécurité des données.

Participer à la définition et à l'optimisation des architectures data-driven pour supporter les besoins croissants en analyse et en machine learning.

Optimisation et Performance :

Optimiser les performances des jobs Spark en ajustant la configuration des clusters, en implémentant des stratégies de partitionnement et en réduisant les temps d'exécution des tâches.

Assurer une gestion efficace des ressources sur Azure pour minimiser les coûts tout en maintenant une haute performance des pipelines de données.

Implémenter des stratégies de monitoring et de debugging pour identifier et résoudre rapidement les goulots d'étranglement et les problèmes de performance.

Sécurité et Gouvernance des Données :

Mettre en oeuvre des politiques de gouvernance des données, incluant la gestion des accès, la conformité aux réglementations (comme le GDPR) et la sécurité des données sur l'ensemble des environnements.

Utiliser des outils comme Azure Key Vault et Azure Active Directory pour gérer les identités, les accès et les clés de chiffrement.

Participer à l'élaboration de stratégies de sauvegarde, de récupération et de continuité des opérations pour assurer la résilience des systèmes de données.

Collaboration et Méthodologie Agile :

Collaborer avec les équipes de data scientists, d'analystes et d'ingénieurs logiciels pour comprendre les besoins métier et traduire ces besoins en solutions techniques efficaces.

Travailler en méthodologie Agile, participer aux sprints, aux daily stand-ups et aux rétrospectives pour assurer un développement itératif et rapide.

Documenter les solutions, partager les bonnes pratiques et former les autres membres de l'équipe sur les technologies Azure, Spark et Scala.

Innovation et Veille Technologique :

Rester à jour sur les dernières avancées en big data, cloud computing et technologies d'ingénierie des données.

Diplôme en informatique, génie logiciel, ou équivalent.

Expérience confirmée en ingénierie des données avec une expertise en Scala et Apache Spark, et une connaissance approfondie des services Azure (Azure Data Lake, Azure Databricks, Azure Synapse).

Compétence en conception et optimisation de pipelines de données à grande échelle, ainsi qu'en gestion de clusters big data.

Bonne maîtrise des concepts de sécurité des données, de gouvernance et de conformité réglementaire dans des environnements cloud.

Expérience avec les bases de données relationnelles et NoSQL, ainsi que les technologies de traitement de données distribuées.

Cabinet de conseil en Hautes Technologies, SIDEXIA est un acteur dynamique intervenant sur des projets innovants et d'envergure. Notre réputation tient à la performance hautement qualifiée de nos collaborateurs.

Dynamique et à taille humaine, SIDEXIA accompagne ses clients sur l'ensemble des phases de leurs projets stratégiques: Médias, Agence Web, Assurance, Télecoms, Banque/Finance, Industrie ....