Consultant Data Engineer - Dataops H/F - CHARLI GROUP

Créé en Janvier 2020, Charli Group est une société de service spécialisée dans les métiers de l'IT.

Afin d'accompagner au mieux nos collaborateurs et nos clients, nous avons créé 4 filiales PURE PLAYER dans leur domaine:

- Charli Network & Security

- Charli Systems & Cloud

- Charli CyberSécurity

-Charli Data & Digital

La gestion de carrière de nos collaborateurs est un élément central chez Charli. Pour cela, nous vous accompagnons à travers:

- Les formations et le passage de certifications chaque année

- Des missions d'envergure via des clients du CAC40 / SBF 120

- Un suivi présent et personnalisé par votre ingénieur d'affaires et le recruteur

- Des Tech MeetUp initié par nos plus grands experts et ouverts à tous

Envie de nouveaux challenges, alors rejoignez nous :)Concevoir, développer et maintenir des pipelines de réplication et de traitement de données issues des sources hétérogènes, dans un contexte international, vers une plateforme de données centralisée sur AWS.

Responsabilités quotidiennes :
- Développement de pipelines ETL/ELT avec Airflow, Python, SQL
- Connexion aux bases sources (Exadata, Oracle, etc.)
- Intégration des données dans AWS (S3, Kinesis, DMS, Lambda...)
- Nettoyage, mapping, déduplication et enrichissement des données
- Collaboration avec les architectes pour appliquer les modèles cibles
- Documentation technique et référentiels
- Concevoir et mettre en oeuvre les flux de réplication
- Harmoniser et transformer les données
- Automatiser les pipelines de données
- Développer des Pipelines Gitlab CI/CD
- Développement d'IaC pour des architectures sophistiquées full AWS avec Terraform, Ansible et Python
- Contribuer au FinOps

- Justifier d'au moins 6 ans d'expérience en tant que Data Engineer ou Ingénieur Intégration Data dans des environnements similaires

- Être dynamique, proactif, autonome, et ouvert d'esprit, bon communicant avec une grande curiosité scientifique
- Très bonne maîtrise de l'écosystème AWS (S3, Kinesis, DMS, Lambda...)
- Très bonne maîtrise des bases des données et des Data warehouses (Exadata, Oracle, SQL Server, Snowflake, etc.)
- Maitrise des langages : SQL, Python
- Maîtrise des outils de traitement et d'orchestration (Apache Airflow, dbt, Python, SQL)
- Bonne expérience en Terraform pour l'IaC
- Connaissance de GitLab CI/CD pour l'automatisation des déploiements
- Expérience avec des CRM
- Connaissance des problématiques de data quality, modélisation, monitoring et alerting
- Une ou plusieurs certifications (AWS, Snwoflake, Terraform, etc.) sont fortement appréciées
- Maîtrise de l'anglais courant