Senior Data Engineer Aws H/F - Achil
- Puteaux - 92
- Indépendant
- Achil
Les missions du poste
Achil recherche pour le compte de son client, un Senior Data Engineer AWS afin de contribuer à la conception et à l'évolution d'une plateforme Data à très grande échelle.
L'environnement traite plus de 100 To de données quotidiennement au travers d'architectures Data modernes, orientées Streaming, Cloud et Intelligence Artificielle.
Vous rejoindrez une équipe technique intervenant sur des projets à forte visibilité autour de la valorisation de la donnée, de l'automatisation et du développement de nouvelles capacités Data et IA.
Au sein d'une équipe Agile, vous serez notamment amené(e) à :
- Concevoir et développer des pipelines Data robustes et performants
- Participer à la mise en oeuvre d'architectures Streaming et Event-Driven
- Développer et optimiser des traitements de données à grande échelle
- Contribuer à l'industrialisation des développements via CI/CD et Infrastructure as Code
- Participer à l'évolution de la plateforme Data AWS
- Optimiser les performances et les coûts des traitements Cloud
- Accompagner la mise en oeuvre de cas d'usage liés à l'Intelligence Artificielle et à la Data
Environnement technique :
Cloud AWS
- AWS Lambda
- Step Functions
- Kinesis Streams
- Firehose
- EMR Serverless
- Batch
- DynamoDB
- S3
Data Engineering
- Scala
- Spark
- Python
- SQL
Data Platform & DevOps
- Snowflake
- DBT
- Airflow
- Terraform
- Kubernetes
- GitLab CI/CD
Méthodologies
- Agile Scrum
- Agile Kanban
- Jira
Le profil recherché
Profil recherché :
Vous justifiez d'au moins 7 années d'expérience dans des environnements Data Engineering, Big Data ou Cloud Data.
Vous disposez idéalement des compétences suivantes :
- Solide expérience des services AWS dans des environnements de production
- Bonne maîtrise de Scala, Spark et/ou Python
- Expérience des architectures Streaming (Kinesis, Kafka ou équivalent)
- Connaissance des plateformes Data modernes (Snowflake, Airflow, DBT)
- Expérience des pratiques DevOps et CI/CD
- Sensibilité aux problématiques de performance, d'industrialisation et d'observabilité
- Anglais professionnel
Ce poste est aussi ouvert en CDI selon les préférences du candidat