Data Engineer Airflow H/F - agap2 IT
- Marseille - 13
- CDI
- agap2 IT
Les missions du poste
Qui sommes-nous ?
Experte et passionnée, notre communauté de consultants accompagne les secteurs industriel et tertiaire à travers quatre grands domaines technologiques : Infrastructure & Cloud, Développement & Applications, Data et Conseil.
Grâce à notre approche transversale, nous répondons exactement aux enjeux de nos clients dans des domaines clés tels que la gestion de projet, la cybersécurité et l'intelligence artificielle. En collaboration avec les prescripteurs technologiques (éditeurs de logiciels, fournisseurs cloud et intégrateurs) nous contribuons activement à l'évolution professionnelle et à la montée en compétences de nos équipes.
Chez agap2IT, la dynamique interne est un pilier essentiel de notre identité. Nous cultivons un esprit collectif fort, ou le partage des connaissances, la curiosité technologique et l'entraide sont au coeur de notre quotidien.
Tout au long de l'année, nos équipes se retrouvent lors de temps forts conviviaux et fédérateurs : afterworks, workshops, challenges internes, autant d'occasions d'échanger, d'apprendre et de renforcer la cohésion.
Nous croyons profondément au pouvoir de l'intelligence collective. C'est pourquoi nous développons des initiatives permettant a chacun de s'exprimer et de contribuer activement à l'évolution d'agap2it :
- Des espaces collaboratifs dédiés au partage d'expertise et a l'innovation,
- Des communautés techniques et laboratoires d'idées pour expérimenter, innover et progresser ensemble,
- Des dispositifs de reconnaissance valorisant les parcours, les compétences et les réussites,
- Et un programme de mentoring favorisant la transmission, l'accompagnement et le développement professionnel.
Chez agap2IT, nous avançons ensemble avec audace, exigence et engagement, convaincus que la performance IT passe avant tout par l'épanouissement des femmes et des hommes qui la construisent.Contexte du poste
Dans le cadre de projets data à fort volume et à forte criticité, agap2IT recherche un Data Engineer H/F spécialisé Airflow pour intervenir chez des clients grands comptes, au sein d'environnements data industrialisés et internationaux.
Missions principales
- Concevoir, développer et maintenir des pipelines de données avec Apache Airflow
- Orchestrer des flux batch et event-driven à grande échelle
- Garantir la qualité, la fiabilité et la performance des traitements data
- Intégrer des données provenant de sources multiples (SI internes, APIs, fichiers)
- Mettre en oeuvre les bonnes pratiques de monitoring, logging et reprise sur incident
- Optimiser les temps de traitement et la gestion des dépendances
- Collaborer avec les équipes Data, Dev, Ops et Métiers
- Documenter les pipelines et participer à l'amélioration continue de la plateforme data
Environnement technique
Orchestration : Apache Airflow (Docker / Kubernetes)
Langages : Python, SQL
Data : Data Lake, Data Warehouse
Cloud : AWS
Traitements : Spark / PySpark
CI/CD : GitLab CI / Jenkins
Systèmes : Linux
Monitoring : Airflow UI, Prometheus, Grafana
Le profil recherché
Profil recherché
Formation Bac +5 (école d'ingénieur, université ou équivalent)
Minimum 5 ans d'expérience en Data Engineering
Expertise confirmée sur Apache Airflow
Très bonne maîtrise de Python et du SQL
Expérience sur des environnements Cloud et data à grande échelle
Sensibilité aux enjeux de qualité, performance et industrialisation
Autonomie, rigueur et esprit d'équipe
Anglais professionnel requis