Data Engineer H/F - ByMyCar
- Challes-les-Eaux - 73
- CDI
- ByMyCar
Les missions du poste
Bee2Link est un acteur de référence de la digitalisation du secteur automobile. Nous concevons des solutions SaaS innovantes qui accompagnent les constructeurs et les réseaux de distribution dans leurs enjeux de performance, de mobilité et de transformation digitale.
Au sein de l'équipe Data de Bee2Link, vous contribuez à la conception et à la fiabilité de notre Data Platform en développant les pipelines de données qui alimentent nos solutions. À ce titre, vos principales missions sont les suivantes :
Missions principales :
Ingestion & Chargement des donnéesConcevoir et développer les pipelines d'ingestion depuis les sources métier (APIs, bases relationnelles, fichiers, événements)Mettre en place et maintenir les flux ELT vers le Datalake AWS S3 (format Parquet, partitionnement, compression)Fiabiliser les chargements incrémentaux et en batch : gestion des erreurs, alertes et rejeux
Transformation & Modélisation (ETL/ELT dbt)Développer les transformations SQL et Python avec dbt (Data Build Tool) comme couche de transformation principaleConcevoir et maintenir les modèles dbt : staging, intermediate, marts avec tests d'unicité, non-nullité et référencesConstruire les Datamarts métier : données véhicules, leads, contrats, activité APV, campagnes marketing
Datalake, Redshift & Qualité des données Optimiser le Datalake AWS S3/Parquet : organisation des buckets, gestion des accès IAM, cycle de vieDévelopper et optimiser les requêtes sur Amazon Redshift : tuning, distribution, tri, gestion des workloadsContribuer à la construction du Data Catalog, à la gouvernance des données (RGPD) et à la documentation technique
Au sein de l'équipe Data de Bee2Link, vous contribuez à la conception et à la fiabilité de notre Data Platform en développant les pipelines de données qui alimentent nos solutions. À ce titre, vos principales missions sont les suivantes :
Missions principales :
Ingestion & Chargement des donnéesConcevoir et développer les pipelines d'ingestion depuis les sources métier (APIs, bases relationnelles, fichiers, événements)Mettre en place et maintenir les flux ELT vers le Datalake AWS S3 (format Parquet, partitionnement, compression)Fiabiliser les chargements incrémentaux et en batch : gestion des erreurs, alertes et rejeux
Transformation & Modélisation (ETL/ELT dbt)Développer les transformations SQL et Python avec dbt (Data Build Tool) comme couche de transformation principaleConcevoir et maintenir les modèles dbt : staging, intermediate, marts avec tests d'unicité, non-nullité et référencesConstruire les Datamarts métier : données véhicules, leads, contrats, activité APV, campagnes marketing
Datalake, Redshift & Qualité des données Optimiser le Datalake AWS S3/Parquet : organisation des buckets, gestion des accès IAM, cycle de vieDévelopper et optimiser les requêtes sur Amazon Redshift : tuning, distribution, tri, gestion des workloadsContribuer à la construction du Data Catalog, à la gouvernance des données (RGPD) et à la documentation technique
Le profil recherché
Formation & ExpérienceBac +3 à Bac +5 en Informatique, Génie logiciel, Mathématiques appliquées ou domaine équivalentMinimum 2 à 4 ans d'expérience sur un poste Data Engineer ou équivalent
Compétences TechniquesExpérience avec dbt (Data Build Tool) : modèles, tests, documentation, seeds, macrosMaîtrise de Python appliqué à la data : pandas, polars ou PySpark pour les transformationsBonne maîtrise de SQL avancé (requêtes complexes, optimisation, CTEs, fenêtres)Pratique de l'écosystème AWS Data : S3, Redshift, IAM, CloudWatch connaissance du format Parquet
Compétences ComportementalesRigueur et sens du détail : la qualité de la donnée est non-négociableAutonomie et sens des responsabilités dans un environnement à fort enjeu (engagements clients)Goût pour la collaboration et le travail en équipe transverse (Data, Produit, Métier)Curiosité technique et capacité à monter en compétence rapidement sur de nouveaux outils
Compétences TechniquesExpérience avec dbt (Data Build Tool) : modèles, tests, documentation, seeds, macrosMaîtrise de Python appliqué à la data : pandas, polars ou PySpark pour les transformationsBonne maîtrise de SQL avancé (requêtes complexes, optimisation, CTEs, fenêtres)Pratique de l'écosystème AWS Data : S3, Redshift, IAM, CloudWatch connaissance du format Parquet
Compétences ComportementalesRigueur et sens du détail : la qualité de la donnée est non-négociableAutonomie et sens des responsabilités dans un environnement à fort enjeu (engagements clients)Goût pour la collaboration et le travail en équipe transverse (Data, Produit, Métier)Curiosité technique et capacité à monter en compétence rapidement sur de nouveaux outils