Lead data engineer
En tant que Lead Data Engineer, vous serez responsable de la conception de nos alimentations, du suivi opérationnel et de l’encadrement d’une équipe de 3 data engineers. Vous travaillerez en étroite collaboration avec nos équipes de développement, d'opérations et de gestion de produits pour garantir la création de solutions robustes, évolutives et hautement performantes.
Les missions :
-Concevoir des pipelines de données robustes, automatisés et génériques en utilisant Apache Airflow (Astronomer) pour l’orchestration dans des environnements cloud AWS et Azure.
-Participer à la conception et à l'implémentation de l'architecture de données, en assurant la disponibilité, la performance, la sécurité et la fiabilité des systèmes.
-Mettre en place des mécanismes de surveillance pour suivre les métriques de performance, les erreurs potentielles et définir des alertes pour les situations critiques.
-Mettre en place des outils de sécurisation, monitoring, backup, répartition des charges, etc
-Documenter les pipelines, les flux de données, les schémas de base de données et autres composants, facilitant ainsi la compréhension et la maintenance du système.
-Collaborer avec les équipes de data science pour intégrer les données et modèles selon une approche MLOps.
-Intégrer les bases de données relationnelles (postgreSQL) et MongoDB dans les solutions architecturales, en tenant compte des exigences de performances et de disponibilité.
-Assurer le suivi opérationnel des traitements (monitoring, support clients technique).
-Piloter l’activité de l’équipe de gestion des données transversalement aux différents projets.
Votre profil :
-8 années d’expériences minimum sur des projets similaires
-Une bonne connaissance des environnements cloud AWS et Azure, idéalement avec Kubernetes
-Au moins une expérience significative sur Airflow/Astronomer.
-Maîtrise des bases de données relationnelles et expérience avec MongoDB.
-Capacité à communiquer efficacement et à travailler en équipe, tout en faisant preuve d'autonomie.
-Bonne compréhension des méthodologies Agile et des pratiques DevOps.
Les technologies suivantes n’ont pas de secret pour vous :
-Systèmes : Windows, Linux (ubuntu, WSL2), réseaux
-Langages : Python (pandas, polars, scikit), SQL, Shell
-Logiciels : Airflow/Astronomer, dbt, openlineage
-Bases de données : postgreSQL, mongoDB
-Conteneurs : Docker/Podman
-Divers : Github, VSCode, Azure devops
Vergelijkbare banen
De perfecte match is nog maar één stap hiervandaan.
Stuur ons direct uw CV en wij brengen u in contact met een van onze gespecialiseerde recruiter die u zal begeleiden in de zoektocht naar uw droombaan!
Laatste artikels
Een succesvolle employer branding-strategie, in 7 stappen
Employer branding is essentieel voor elk bedrijf dat talent wil aantrekken én behouden. Er zijn tal van goede redenen om een sterk merk als werkgever uit te bouwen. Maar zoiets doe je niet van vandaag op morgen. Hoe pak je dat aan, starten met employer branding?
De strafste employer branding-trends van 2024
Employer branding is in sneltempo uitgegroeid tot een echte must voor werkgevers die het verschil willen maken, in de strijd om toptalent.
7 risico’s die jouw imago als werkgever beschadigen
Bedrijven investeren vandaag aanzienlijke budgetten in de marketing van hun merk als aantrekkelijke werkgever.
Sluit aan bij onze community van professionals en ontdek je potentieel om een verschil te maken in de wereld.
Blijf op de hoogte van het laatste nieuws.