Data Engineer Python - Airflow H/F - Lùkla
Les missions du poste
Expert en transformation digitale, nous accompagnons nos clients à chaque étape de leur développement pour répondre à leurs enjeux métiers et technologiques.
Avec 14 agences en France, au Portugal et au Canada, Lùkla a su développer un portefeuille de clients sur un vaste champ de compétences et dans de nombreux secteurs.
Nous proposons un catalogue de 6 offres complémentaires : Managed Services, Digital Workplace, Change & Adopt, Apps & Data, Web & Marketing, et Cloud & Cyber.
Ancrée dans les valeurs de proximité, d'engagement, de confiance et de respect, notre entreprise crée une atmosphère propice au développement de compétences et au bien-être.
Rejoindre Lùkla, c'est embarquer dans une aventure collective où passion et expertise se mêlent pour répondre aux besoins de chacun.
Ensemble, allons plus haut et plus loin pour libérer votre potentiel.
Nous recherchons pour l'un de nos clients un Data Engineer pour concevoir et faire vivre une plateforme data moderne, construite sur des briques open source. Vous travaillerez avec deux développeurs chargés des applications et des API. Vos missions :
- Concevoir et orchestrer les pipelines d'ingestion et de transformation avec Airflow et Python
- Modéliser et transformer les données avec dbt
- Mettre en oeuvre les traitements avec DuckDB ou Spark selon les volumes
- Alimenter et optimiser les bases analytiques (Apache Doris, PostgreSQL) et le stockage S3
- Construire les tableaux de bord dans Apache Superset avec les équipes métier
- Déployer et suivre la plateforme : supervision open source, notebooks JupyterLab, Docker et Kubernetes
- Orchestration et transformation : Airflow, Python, dbt
- Traitement et stockage : DuckDB et/ou Spark, Apache Doris, PostgreSQL, S3
- Restitution : Apache Superset, JupyterLab
- Déploiement : Docker, Kubernetes, GitLab CI/CD, Ansible
- Méthode : travail en équipe avec les développeurs et les métiers
- Rythme : 2 jours par semaine sur site à Rouen, le reste en télétravail
Le profil recherché
- Au moins 4 ans d'expérience en data engineering
- Très bonne maîtrise de Python, SQL, Airflow et dbt
- Expérience d'un moteur de traitement (Spark ou DuckDB) et d'une base analytique
- Appréciés : Apache Doris, Superset, Kubernetes et GitLab CI/CD