Data Engineer H/F
- Paris - 75
- CDI
- Entreprise anonyme
Les missions du poste
Environnement de travail:
Au sein d'une équipe de DataManagement à taille humaine, devoir d'intégration et renfort de l'équipe pour contribution aux enjeux forts de DataDriven
Travail à la mise à disposition de données en garantissant la qualité et la fraicheur pour l'ensemble des traitements et process qui l'utilisent.
Collaboration avec les équipes informatiques et capacité de traitement des données en provenance de différentes sources, puis analyse et interprétation des résultats tout en définissant la structure de stockage
Anglais écrit et oral pour des échanges avec certains interlocuteurs internationaux et les équipes de support éditeur.
1. Objet de la mission
Développer, optimiser et maintenir des pipelines de données, incluant l'automatisation, la gestion des bases, la recherche et le traitement.
2. Périmètre de la prestation
· Conception et développement de flux ETL/ELT.
· Mise en place et exploitation de traitements en streaming.
· Développement de scripts et automatisations PowerShell.
· Administration et optimisation de PostgreSQL.
· Indexation, recherche et optimisation dans Elasticsearch.
3. Livrables attendus
· Pipelines opérationnels et documentés.
· Scripts PowerShell industrialisés.
· Schémas et procédures PostgreSQL optimisés.
· Index/mappings Elasticsearch performants.
4. Compétences requises
· PowerShell : Développement avancé de scripts, automatisation, manipulation de fichiers et API.
· PostgreSQL : modélisation, optimisation SQL.
· Elasticsearch : ingestion, mappings, optimisation.
· Technologies de streaming (Kafka, RabbitMQ, etc.).
· Une connaissance des environnements Workplace et télécom serait un plus.
5. Profil recherché
· Ingénieur data ou développeur avec expérience significative en data Engineering.
· 5 ans d'expérience en data engineering.
· Expérience démontrée sur PowerShell, PostgreSQL, Elasticsearch et les flux en temps réel.
· Autonomie, rigueur, capacité d'analyse et de documentation et d'adaptation.
Le profil recherché
1. Objet de la mission
Développer, optimiser et maintenir des pipelines de données, incluant l'automatisation, la gestion des bases, la recherche et le traitement.
2. Périmètre de la prestation
· Conception et développement de flux ETL/ELT.
· Mise en place et exploitation de traitements en streaming.
· Développement de scripts et automatisations PowerShell.
· Administration et optimisation de PostgreSQL.
· Indexation, recherche et optimisation dans Elasticsearch.
3. Livrables attendus
· Pipelines opérationnels et documentés.
· Scripts PowerShell industrialisés.
· Schémas et procédures PostgreSQL optimisés.
· Index/mappings Elasticsearch performants.
4. Compétences requises
· PowerShell : Développement avancé de scripts, automatisation, manipulation de fichiers et API.
· PostgreSQL : modélisation, optimisation SQL.
· Elasticsearch : ingestion, mappings, optimisation.
· Technologies de streaming (Kafka, RabbitMQ, etc.).
· Une connaissance des environnements Workplace et télécom serait un plus.
5. Profil recherché
· Ingénieur data ou développeur avec expérience significative en data Engineering.
· 5 ans d'expérience en data engineering.
· Expérience démontrée sur PowerShell, PostgreSQL, Elasticsearch et les flux en temps réel.
· Autonomie, rigueur, capacité d'analyse et de documentation et d'adaptation.