Data Engineer senior

DÉTAILS DE L'OFFRE

Présentation de l'entreprise

Free-Work, c'est le partenaire dédié aux talents IT !
Que vous soyez freelance, salarié ou en quête de la meilleure voie pour vous, Free-Work est là pour vous accompagner à chaque étape de votre carrière dans l'IT et le Digital.

Missions

En tant que Data Engineer Senior PySpark, vous jouez un rôle clé dans la performance et la fiabilité des traitements de données à grande échelle. Vous êtes en charge de l’optimisation des pipelines existants et de l’organisation des activités de RUN & stabilisation, en veillant à prioriser les actions à forte valeur ajoutée dans un environnement Agile.

Votre rôle

Optimisation et refonte des pipelines data

·        Auditer, refactorer et faire évoluer les modules de data engineering : Refining Covariates Modelling, Exposition

·        Optimiser les pipelines PySpark pour améliorer les performances de traitement à grande échelle (partitioning, gestion des joins, cache, skew et volumétrie)

·        Renforcer la modularité, la lisibilité, l’évolutivité et la scalabilité des pipelines

·        Contribuer à la réduction de la dette technique et à la modernisation du legacy

Industrialisation et qualité des développements

·        Structurer un framework flexible permettant l'ajout de nouvelles features et facilitant l’industrialisation des développements

·        Mettre en place les tests unitaires, d’intégration et fonctionnels

·        Formaliser des standards de développement

Stabilisation, RUN et amélioration continue

·        Améliorer la stabilité des pipelines grâce au monitoring et à l’application des bonnes pratiques CI/CD

·        Structurer et prioriser les actions de RUN et de stabilisation

·        Définir et piloter un plan d'optimisation priorisé avec des gains mesurables

Passage à l’échelle et évolution de l’architecture data

·        Adapter les pipelines pour un déploiement mondial / multi régions en tenant compte des enjeux de volumétrie et de passage à l’échelle

·        Optimiser le ratio coût / performance des traitements

·        Travailler en étroite collaboration avec les Data Scientists et les ML Engineers

Profil candidat:

Compétences fonctionnelles et techniques :

·        Solide maîtrise des principaux outils de data engineering : Databricks, PySpark, Python, Airflow et GitHub

·        Bonne connaissance de l’écosystème AWS (S3, ECR et Glue)

·        Connaissance de Docker, uv et Poetry

·        Sensibilité aux méthodes Agile avec une connaissance Scrum appréciée

 

Qualités personnelles :

·        Esprit analytique et sens de la résolution de problèmes

·        Rigueur et capacité à prioriser / structurer les sujets

·        Autonomie et force de proposition

·        Esprit d’équipe et collaboration transverse

·        Sens de l’amélioration continue

________

Type de contrat : CDI

Niveau d’expérience : 7 ans minimum

Secteur : Retail

Localisation : Paris

Langues : Français et anglais professionnels impératifs