Dataops - Data Engineer - Databricks H/F - Activus Group

Nous rejoindre c'est intégrer un groupe humain ayant pour domaines d'expertise :

- Intelligence Artificielle et Big Data
- Conseil & Audit
- Infrastructure et cloud
- Applications digitales
- SSI/Cyber sécurité
- Digitalisation de la production

Nous puisons notre force dans une équipe composée de femmes et d'hommes passionnés et ambitieux, toujours prêts à relever de nouveaux défis !

Ecoute, proximité, réactivité et efficacité se retrouvent dans notre management quotidien, ce sont ces valeurs qui contribuent à notre réussite collective.

Contexte de la mission

Dans le cadre du développement et de l'exploitation d'une plateforme de traitement et d'analyse de données, nous recherchons un DataOps / Data Engineer.

La plateforme repose sur une architecture hybride comprenant :

- un environnement de développement on-premise dédié à l'exploration et à l'expérimentation des données

- un environnement de production Cloud pour l'exécution et la supervision des traitements

- une application web client permettant l'exploitation des résultats

Le consultant interviendra sur les activités d'exploitation, d'industrialisation et d'optimisation des pipelines de données ainsi que sur le support au déploiement des algorithmes en production.

Missions principales

Exploitation et maintien en conditions opérationnelles

- Assurer le MCO de l'environnement de développement
- Assurer le monitoring et la supervision de l'environnement de production
- Garantir la disponibilité et la performance des services de la plateforme

Data engineering

- Concevoir et mettre en place des pipelines de données
- Participer à l'industrialisation des traitements de données
- Optimiser les performances des traitements et algorithmes

Déploiement et optimisation des algorithmes

- Accompagner le déploiement des algorithmes en production
- Optimiser les traitements distribués (notamment avec Spark)
- Contribuer à la maîtrise des coûts de calcul

Industrialisation et amélioration continue

- Améliorer les processus d'intégration des livrables dans la plateforme
- Mettre en place des mécanismes de versioning et de configuration
- Participer à l'amélioration continue des pratiques DataOps / DevOps

Environnement technique

Data

Python

pandas

Apache Spark via Azure Databricks

SQL

Ops & orchestration

Docker (Docker Swarm)

Ansible

GitHub Actions

Terraform

Apache Airflow

Infrastructure

Red Hat Enterprise Linux

Ubuntu

Expérience en Data Engineering / DataOps

Bonne maîtrise des environnements data distribués et cloud

Capacité à intervenir sur des sujets à la fois data et infrastructure

Expérience des environnements CI/CD et automatisation

Compétences appréciées

Azure Data Factory

Connaissances en FinOps (optimisation des coûts cloud)

Notions de gouvernance de la donnée

Connaissance du secteur aéronautique

Qualités attendues

Autonomie

Rigueur opérationnelle

Esprit d'analyse et de résolution de problèmes

Forte appétence pour l'amélioration continue et les pratiques DevOps