Data Engineer H/F - AGH Consulting

AGH Consulting est un Groupe de Conseil et d'Ingénierie lancé en 2005.

On parle beaucoup du Monde d'Après en ce moment, et il est nécessaire de se demander de quoi il sera fait. Depuis sa création en 2005, AGH Consulting travaille à imaginer l'avenir.
En France d'abord, à Paris, Marseille et Nantes, la marque s'est ensuite déployée sur d'autres continents aux Emirats Arabes Unis, au Maroc, en Espagne, en Belgique ou encore en Thaïlande.
Nous cherchons les Consultants et les Managers de demain, issus d'un parcours d'excellence, avec un esprit agile et mordant ! Chez AGH Consulting, il est possible de commencer sa carrière à Paris, et de traverser les pays au fil des développements du Groupe.

Au programme :

Réseaux de télécommunications et Data Center, Centrales de production solaire et raffineries, Aéroports et gares, IGH ;

Les réseaux Fibre, la 4G, la 5G, le Grand Paris ou le BIM.

Intégrés au sein d'équipes opérationnelles et encadrés par des Business Managers, des Team Leaders ou des Experts, nos collaborateurs pourront intervenir au sein de nos Centres de Services ou directement auprès de nos clients pour participer au développement des projets confiés au Groupe.Nous recherchons pour l'un de nos clients, un(e) Data Engineer afin de concevoir, construire, tester et maintenir les chaines de traitement de données.

A ce titre, vos principales missions seront les suivantes :
- Participer à la définition des solutions.
- Déployer, intégrer et administrer les chaines de traitement de données sous Linux.
- Automatiser la livraison, la supervision et l'accès aux datasets sur notre infrastructure privée.
- Réaliser la Documentation et contribuer à la rédaction du modèle de responsabilité partagée pour chaque technologie (« shared responsibility model »).
- Apporter son expertise technique pour la résolution des incidents N2 et N3.
- Automatiser et documenter l'exploitation des chaines de traitement de données.
- Proposer les évolutions techniques des pipelines.
- Garantir au quotidien la livraison, la disponibilité et l'intégrité des données.
- Réaliser la planification
- Faire des Astreintes sur le périmètre de l'équipe (Big data, Kubernetes et bases de données)

- Diplôme Bac +4 ou Bac +5 minimum en science des données, intelligence artificielle, mathématiques appliquées ou discipline équivalente.
- Expériences et expertises opérationnelles recherchées :
- Run et build de pipelines de données de production
- Gestion des incidents de production (plateforme, sécurité, retard de livraison de données, corruption de données, etc.)
- Qualités essentielles :
- Capacité à apprendre
- Appétence pour les aspects fonctionnels et métiers de Monaco Telecom
- Capacité d'écoute et d'analyse du besoin des clients et des utilisateurs
- Sens de la priorité clients et des utilisateurs
- Autonomie
- Esprit d'analyse et sens de l'initiative
- Force de proposition
- Esprit d'équipe
- Niveau d'anglais technique
- Savoir prioriser son travail dans un environnement sous pression
- Toute expérience sur un poste similaire est un gros plus
- Maîtrise de :
- CI/CD/CD (Gitlab)
- Pyspark / spark
- SQL
- Linux
- Bases de données (RDBMS & NoSQL)
- Kafka
- Hive/Impala/PrestoDB/Trino/Nessie(gestion des données)
- Spark (développement, optimisation et opérations)
- Principes architecture big data & Hadoop
- Réseaux (savoir débugger des flux)
- Connaissances qui sont un gros plus :
- Kubernetes, pour le déploiement d'application Spark sur K8S
- Trino
- Infrastructure as code (Ansible, Terraform est un plus)
- Apache Icerberg ou autre framework de delta tables
- Hive Metastore
- S3
- MariaDB (Galera cluster) et PostGreSQL
- MongoDB
- OLLAMA
- MIG K0S