Data Engineer H/F - Collective Works
Les missions du poste
Les équipes de notre client opèrent sur data platform sur Google Cloud Platform (BigQuery, Cloud Composer/Airflow, Dataform, Cloud Run, Firestore), utilisée par les data engineers des squads et par des agents IA conversationnels en cours d'industrialisation.
La mission consiste à maintenir en condition opérationnelle et à faire évoluer cette plateforme selon les besoins des data engineers : gestion des droits et de l'IAM GCP, exploitation de Composer/Airflow et du dispatcher, industrialisation des déploiements (CI/CD, infrastructure as code), suivi FinOps, et participation au chantier observabilité (monitoring, alerting, intégration Sifflet). Le RUN de la plateforme se compose surtout de demandes récurrentes : droits/IAM, anomalies Airflow et Finder, stockage/FinOps, flux $U/IDL Pro.
Le Data Engineer développe, construit et maintient des infrastructures de données d'un point de vue système et sécurité. Il s'assure de la maîtrise de la donnée et est garant de la qualité de son utilisation afin d'en faciliter l'exploitation par les équipes. Il s'assure de la collecte, du stockage et de l'exploitation des flux de données répondant aux enjeux de l'entreprise. Il est garant de l'accès qualitatif des sources de données qui viennent alimenter le Data Lake afin d'en faciliter l'exploitation par les équipes de Data Science. Il définit également la structure des métadonnées. Son périmètre d'intervention est axé sur les systèmes applicatifs autour de la gestion de la donnée et du traitement, et sur les plateformes Big Data, IoT... Il assure la supervision et l'intégration des données qui proviennent de ces sources multiples et vérifie la qualité des données qui entrent dans le Data Lake (il recette de la donnée, supprime les doublons, etc.).
Le profil recherché
Maîtrise obligatoire de BigQuery
Consultant basé en métropole lilloise
