Offre : 201223-006-B

Poste : Architecte technique – Data Management – Data engineer – Cartographie 

Client : Secteur Banque

Localisation : Paris / IDF

Besoin

  • Récupérer les données issues de sources externes
  • Utiliser la puissance du Datalake
  • Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels.

Mise en œuvre de la chaîne :

  • d’ingestion de données,
  • de validation de données,
  • de croisement de données,
  • de déversement dans le datalake des données enrichies


– Développer dans le respect des règles d’architecture définies
– Développer et documenter les user stories avec l’assistance du Product Owner.
– Produire les scripts de déploiement
– Prioriser les corrections des anomalies
– Assister les équipes d’exploitation
– Participer à la mise en œuvre de la chaîne de delivery continue
– Automatiser les tests fonctionnels


Aspects Humains :


– Grande capacité à travailler dans une équipe, en mode Scrum / Kanban.
– Bonnes compétences relationnelles et grand sens de la communication (capacité à entrer dans le détail).
– Sensible et informé des évolutions technologiques sur les piles logicielles pratiquées.

Connaissances techniques :


– Stockage : HDFS / GCS
– Traitement: Maitrise de l’écosystème Spark / Kafka / Scala
– Planification : Airflow / Composer
– Gouvernance : Apache Atlas / Hive
– Méthodologies : Scrum, Kanban, Git
– DWH : SQL, Oracle / BigQuery
– Delivery : Git, Ansible, Docker, Terraform, Jenkins / Cloud Build
– La connaissance de la plateforme Data GCP est un plus
– La connaissance de la plateforme Amadea/Statmining est un plus

Objectifs :

Récupérer les données issues de sources externes
– Utiliser la puissance du Datalake
– Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels.