Data Engineer Pensioen Migratie
[ad_1]
Voor onze eindklant in Den Haag zijn wij op zoek naar een Data Engineer Pensioen Migratie.
Start: 16-okt-2017
Eind: 29-dec-2017
Uren: 36 uur p.w.
Opdrachtomschrijving
– De opdrachtgever zit momenteel in het migratietraject van het BIS Pensioen BI team naar het BIS Data & Integratie BI DevOps team.
Zowel BIS Pensioen en BIS D&I hebben hun eigen Datawarehouse omgevingen. Daarnaast werkt BIS D&I naar de nieuwe Datalake architecture in AWS.
Gevolg is dat de applicaties die vanuit BIS Pensioen BI worden gemigreerd naar BIS D&I, moeten passen in deze nieuwe Datalake architecture in AWS.
De huidige Datamarts van BIS Pensioen zijn aangesloten op een Pensioen datavault en datawarehouse, met PowerCenter/Informatica als ETL-tooling. Dit moet via het datalake gaan lopen met Aurora (DWH), RedShift (datamarts) en Python (ETL).
Doel opdracht
– Migratie/redesign van Pensioen datamarts van bestaand BI Platform naar nieuwe BI infrastructuur in AWS
Acties / werkzaamheden
(1) Datawarehouse design support (Aurora MySQL in AWS datalake)
(2) Implementation of the design (ETL development in Python)
(3) Design and implementation of data publications (Aurora to RedShift)
[ad_2]
Source link