Descriptif du poste
Dans le cadre de projets Big Data menés pour nos clients dans des secteurs variés (Energie, Luxe, Télécoms, Finance,…), vous aurez l’occasion de travailler aussi bien sur des plateformes existantes qu’en cours de construction.
Vos responsabilités principales seront de :
- Concevoir, développer et maintenir des pipelines de données scalables pour l’ingestion, le traitement et le stockage de grosses volumétries de données ;
- Exploiter les technologies Big Data (Spark, Hadoop, Kafka, Cassandra, MongoDB, etc.), afin de gérer efficacement les flux de données ;
- Travailler en étroite collaboration avec les équipes Data Scientist pour comprendre les besoins et mettre en place des solutions adaptées ;
- Participer à l’architecture et à la conception de systèmes Big Data distribués pour traiter des données structurées et non structurées provenant de différentes sources ;
- Développer des algorithmes et des modèles de données pour extraire des informations significatives à partir des ensembles de données volumineux ;
- Assurer la qualité, l’intégrité et la sécurité des données tout au long du processus de traitement ;
- Participer aux chiffrages des solutions (poker planning) et priorisations (backlogs) ;
- Apporter votre support et vos conseils aux utilisateurs ;
- Réaliser des formations et présentations (organisation de meetups par exemple) ;
- Assurer une veille technologique permanente.
Votre profil :
Ingénieur.e de formation ou équivalent dans le domaine de la Data, vous disposez d’une première expérience professionnelle significative en Data Engineering.
Vous avez déjà eu l’occasion de travailler sur un ou plusieurs Cloud Providers (AWS, Azure et/ou GCP) et disposez de bonnes connaissances sur les architectures de données et le cloud.
Techniquement, vous disposez d’expériences, voire d’expertise sur une partie des environnements suivants :
- Dataiku ;
- Python, PySpark, Spark, Scala, Java, Python et SQL ;
- Docker ;
- ETL (Qlik, Informatica, Talend, …) ;
- Principes et outils DevOps ;
- Cloud Azure (DataFactory, ADLS, Databricks) ;
- AWS (S3, RDS, Kinesis ...) ;
- GCP (BigQuery, Dataproc, Dataprep, …) ;
- Outils orchestration workflow type Airflow.
Vous êtes également à l’aise dans la rédaction de documentations techniques et l’anglais professionnel à l’écrit comme à l’oral.
Les plus :
Vous avez eu l’occasion de pratiquer les technologies suivantes :
- OpenShift, Docker, Kubernetes ;
- Databricks, Palantir, Collibra ;
- Kafka / framework de stream processing ;
- Data visualisation ;
- Bases NoSQL
Vous disposez d’une ou plusieurs certifications notamment dispensées par les Cloud Providers.
Vous avez déjà eu l’occasion de travailler en mode agile
Savoir-être :
Passionné.e par les nouvelles technologies et les problématiques métier, vous êtes en perpétuelle formation et remise en question.
Vous avez l’envie de partager vos connaissances et de faire progresser les autres dans un esprit d’équipe.
Orienté client, vous faites preuve de pédagogie auprès de vos clients et collègues.
Vous êtes capable de travailler de manière collaborative au sein d’équipes pluridisciplinaire comme de faire preuve d’autonomie lorsque cela est nécessaire.
Rigoureux et pragmatique, vous savez faire aboutir un projet.
Postuler